java—尽管超时时间较低,但稳定数量的hbase请求(成功)几乎需要5000毫秒才能完成不知道为什么

6gpjuf90  于 2021-06-09  发布在  Hbase
关注(0)|答案(1)|浏览(488)

我的客户正在使用 org.apache.hbase:hbase-client:2.1.0" 服务器正在运行 1.2.0-cdh5.11.1 ( 1.2.0-cdh5.11.0 在另一个测试集群中)。
我的客户机非常简单,它示例化了 Connection 启动时的类(这个类是apache推荐的,因为它很重而且线程安全,所以在线程之间共享)。然后为每个请求创建一个 Table 上课,做一个 .exists(new Get(rowKey)) 操作。
就像这样:

Connection conn = ConnectionFactory.createConnection(hbaseConfig);

final Table table = conn.getTable(tableName);
return table.exists(new Get(context.getKey()));

大多数情况下,到hbase和回hbase的请求延迟最差为40ms。通常在10毫秒左右完成。
然而,我们注意到偶尔的请求需要大约5000ms(5s)-但仍然成功完成!
偶尔我指的是每分钟一个请求(总共600个请求,所以速率很小)。但它是稳定的。
几乎完全是5秒左右(+/-100-200毫秒)。这是奇怪的部分。不是钉子。
一开始我怀疑这是对客户端的错误配置,我需要设置更严格的超时,所以我设置了以下内容:

hbaseConfig.set(HConstants.HBASE_CLIENT_RETRIES_NUMBER, 1);
hbaseConfig.set(HConstants.HBASE_CLIENT_PAUSE, "50");
hbaseConfig.set(HConstants.HBASE_CLIENT_OPERATION_TIMEOUT, "2000");
hbaseConfig.set(HConstants.HBASE_RPC_TIMEOUT_KEY, "1500");
hbaseConfig.set(HConstants.HBASE_RPC_SHORTOPERATION_TIMEOUT_KEY, "2000");
hbaseConfig.set(HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD, "1500");
hbaseConfig.set(HConstants.ZOOKEEPER_RECOVERABLE_WAITTIME, "2000");
hbaseConfig.set(HConstants.ZK_SESSION_TIMEOUT, "2000");
hbaseConfig.set("zookeeper.recovery.retry", "1");
hbaseConfig.set("zookeeper.recovery.retry.intervalmill","200");
hbaseConfig.set("hbase.ipc.client.socket.timeout.connect", "2000");
hbaseConfig.set("hbase.ipc.client.socket.timeout.read", "2000");
hbaseConfig.set("hbase.ipc.client.socket.timeout.write", "2000");

换句话说,5000ms超过了全局超时(如中所设置的) HConstants.HBASE_CLIENT_OPERATION_TIMEOUT ).
然而,我有一些需要5秒才能完成的请求,而且成功地完成了。
除了这些超时之外,我从使用 AsyncConnectionConnection (反正不需要异步)我正在考虑 GET 呼叫而不是 exists .
但在这一点上我被难住了。我没有看到任何财产和5s的东西是从哪里来的。这甚至不是一个暂停,它实际上成功了!
以前有人遇到过这种情况吗?有没有办法让hbase客户端发出度量?服务器端指标显示延迟没有增加(扫描指标)。

tkqqtvp1

tkqqtvp11#

对我们来说,线程转储显示了在使用ipv6实现执行dns解析上花费的时间,并且还发现了一些关于本机库中5秒延迟的问题。

hconnection-0x6fc1d215-shared--pool1-t95" 
   java.lang.Thread.State: RUNNABLE
        at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)
        at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:929)
        at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1324)
        at java.net.InetAddress.getAllByName0(InetAddress.java:1277)
        at java.net.InetAddress.getAllByName(InetAddress.java:1193)
        at java.net.InetAddress.getAllByName(InetAddress.java:1127)
        at java.net.InetAddress.getByName(InetAddress.java:1077)
        at java.net.InetSocketAddress.<init>(InetSocketAddress.java:220)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getStubKey(ConnectionManager.java:1802)
        at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.getClient(ConnectionManager.java:1772)
        at org.apache.hadoop.hbase.client.ScannerCallable.prepare(ScannerCallable.java:163)
        at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas$RetryingRPC.prepare(ScannerCallableWithReplicas.java:409)
        at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:134)
        at org.apache.hadoop.hbase.client.ResultBoundedCompletionService$QueueingFuture.run(ResultBoundedCompletionService.java:80)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)"Timer-47"

https://github.com/netty/netty/issues/6454
添加 -Djava.net.preferIPv4Stack=true 强制使用ipv4协议栈似乎为我们解决了这个问题。我们再也看不到5秒延迟了(祈祷吧)

相关问题