无法使用pig从hbase加载数据

fgw7neuy 于 2021-06-10 发布在 Hbase

关注(0)|答案(1)|浏览(350)

我尝试从hbase表加载所有数据。里面有10093条记录。这是我的Pig剧本

register 'zookeeper.jar'
register 'hbase-server-0.98.6-cdh5.3.2.jar'

result = LOAD 'hbase://clf_transaction_train'
   USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
   'cf:features cf:content', '-loadKey true')
   AS (  content:bytearray, features:bytearray);

rmf $output;
STORE result INTO '$output';

脚本工作正常--没有任何错误消息。但只载入100条记录。
我该怎么修？谢谢。

hbase apache-pig

来源：https://stackoverflow.com/questions/41802712/cant-load-data-from-hbase-using-pig

1条答案

按热度按时间

fdbelqdn1#

您可以尝试修改hbase扫描仪超时：

<property>
  <name>hbase.rpc.timeout</name>
  <value>60000</value>
</property>
<property>
  <name>hbase.client.scanner.timeout.period</name>
  <value>60000</value>
</property>
<property>
  <name>hbase.cells.scanned.per.heartbeat.check</name>
  <value>10000</value>
</property>

更多详情请点击此处http://www.cloudera.com/documentation/enterprise/5-6-x/topics/admin_hbase_scanner_heartbeat.html

赞(0）回复(0）举报 2021-06-10

我来回答

无法使用pig从hbase加载数据

1条答案

相关问题

热门标签

最新问答