从oozie调用importtsv以加载到hbase

bgibtngc  于 2021-06-09  发布在  Hbase
关注(0)|答案(1)|浏览(381)

从oozie调用importtsv的最佳方法是什么。这就是我想通过oozie运行的内容:

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=',' -Dimporttsv.columns="HBASE_ROW_KEY,cf:name" nameTab hdfs://xyz.com:8020/user/me/name.csv

我是否必须将其放入脚本中,如果是,如何调用hbase,以及要添加哪些库。新手请帮忙。

vybvopom

vybvopom1#

oozie没有 hbase 直接使用的操作。我想,你可以用 shell 操作,将此命令放入shell脚本。
重要的是, shell 使用启动器Map器作业执行的操作,可以在集群上的任何计算机上调度/启动该作业。因此,必须在群集中的所有节点上安装hbase客户端。
您可以将与hbase相关的jar复制到 lib 工作流的目录,在hdfs中。
您可以添加以下jar:(根据需要检查/选择版本)。

hbase-xxx.jar
hbase-procedure-1.1.2.jar
hbase-server-1.1.2.jar
hbase-common-1.1.2.jar
hbase-client-1.1.2.jar
hbase-protocol-1.1.2.jar

相关问题