如何配置hadoop rpc的超时?

cdmah0mi  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(459)

我的应用程序使用hadoop的rpc在分布式环境中远程发送/接收请求。

  1. org.apache.hadoop.ipc.RPC;
  2. org.apache.hadoop.ipc.RPC.Server;
  3. ....
  4. this.server = RPC.getServer(this, this.peerAddr.getHostName(), this.peerAddr.getPort(), this.conf);
  5. this.server.start();

随着任务越来越重,我观察到由于io异常(这可能是由线程中断引起的)导致的频繁任务失败。
我怀疑异常是由某种rpc超时引起的。
如何在hadoop中调整rpc的超时?例如,我期望的是。。。

  1. <property>
  2. <name>hadoop.rpc.timeout</name>
  3. <value>3000</value>
  4. <description>The timeout for RPC call in ms</description>
  5. </property>
fzsnzjdm

fzsnzjdm1#

hadoop 0.20不支持此问题,请阅读此问题https://issues.apache.org/jira/browse/hadoop-6889

相关问题