我的hbase表中的行既包含序列化的avro(使用havrobase放在那里)又包含字符串数据。我知道hive表可以Map到hdfs中存储的avro数据以进行数据分析,但我想知道是否有人尝试将hiveMap到包含avro数据的hbase表。基本上,我需要能够查询存储在hbase中的avro和非avro数据,进行一些分析,并将结果存储在不同的hbase表中。我需要的能力,做一个批处理工作,以及这一点。我不想写一个javamapreduce来完成这个任务,因为我们有不断变化的配置,我们需要使用脚本化的方法。有什么建议吗?提前谢谢!
1条答案
按热度按时间kt06eoxx1#
可以编写hbase协处理器,将avro记录作为常规hbase限定符公开。你可以在英特尔的panthera dot中看到它的一个实现