我的apachenutch爬虫正在日志文件中生成以下信息。
warn client.scannercallable-ignore,可能已经关闭org.apache.hadoop.ipc.remoteexception:org.apache.hadoop.hbase.regionserver.leaseexception:lease'-3687805264051264867'不存在
我在hbase配置文件(hbase site.xml)中做了更改。
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
但它并没有产生任何影响,而且同样的警告一次又一次地出现。你知道吗?
2条答案
按热度按时间brgchamk1#
找出记录的平均大小,将其与hbase.client.scanner.caching相乘。
如果结果>1 mb,则需要增加scanner.lease.timeout
有关完整的参数调整,请访问:
http://bytepadding.com/big-data/hbase/hbase-parameter-tuning/
bgtovc5b2#
hbase文档还提供了一些更有针对性的建议,可以在以下位置找到:
http://hbase.apache.org/0.94/book/trouble.client.html
引用:
在某些情况下,从regionserver获取数据的客户端会获得leaseexception,而不是通常的12.5.1节“scannertimeoutexception或unknownscannerexception”。通常,异常的来源是org.apache.hadoop.hbase.regionserver.leases.removelease(leases)。java:230)(行号可能不同)。它往往发生在慢速/冻结区域服务器的下一个调用的上下文中。可以通过使hbase.rpc.timeout>hbase.regionserver.lease.period来防止此错误。harsh j在邮件列表线程hbase中调查了这个问题
i、 例如,尝试将hbase.rpc.timeout设置为高于hbase.regionserver.lease.period的值