以hbase作为数据接收器的hadoop流媒体

uurity8g  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(319)

我们的研究小组已经建立并运行了hadoop和hbase。
最近我正在使用hadoop流(仅Map器)来处理数据,我希望使用hbase作为数据接收器。我觉得我可以将-outputformat设置为tableoutformat。但在网上搜索了一段时间后,我发现具体的操作可能要花很多时间才能弄清楚。
以下是我的审判:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
    -input myInputDirs \
    -outputformat HBaseLibDir/TableOutFormat \
    -mapper myMapperScript \
    -numReduceTasks 0

有经验的人能教我怎么做吗?包括mymapperscript中要更改的内容,以及为初始化流式处理作业而传入的参数。

3bygqnnd

3bygqnnd1#

来自hbase邮件列表的答案:
无法(直接)将hadoop流输出到hbase。改用rest/thrift api。

相关问题