我们的研究小组已经建立并运行了hadoop和hbase。
最近我正在使用hadoop流(仅Map器)来处理数据,我希望使用hbase作为数据接收器。我觉得我可以将-outputformat设置为tableoutformat。但在网上搜索了一段时间后,我发现具体的操作可能要花很多时间才能弄清楚。
以下是我的审判:
$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-outputformat HBaseLibDir/TableOutFormat \
-mapper myMapperScript \
-numReduceTasks 0
有经验的人能教我怎么做吗?包括mymapperscript中要更改的内容,以及为初始化流式处理作业而传入的参数。
1条答案
按热度按时间3bygqnnd1#
来自hbase邮件列表的答案:
无法(直接)将hadoop流输出到hbase。改用rest/thrift api。