org.apache.hadoop.ipc.rpcexception:rpc响应超过最大数据长度

dauxcl2d  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(1651)

我已经在两台机器上设置了hadoop集群。一台机器同时有主设备和从设备-1。第二台机器有从-2。当我用 start-all.sh ,在中出现以下错误 secondarynamenode.out 文件:

  1. java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "ip-10-179-185-169/10.179.185.169"; destination host is: "hadoop-master":9000;

以下是我的jps输出

  1. 98366 Jps
  2. 96704 DataNode
  3. 97284 NodeManager
  4. 97148 ResourceManager
  5. 96919 SecondaryNameNode

有人能帮我解决这个错误吗?

ru9i0ody

ru9i0ody1#

我也有这个问题。
请检查 core-site.xml (这应该在下载hadoop的目录下,对我来说路径是: /home/algo/hadoop/etc/hadoop/core-site.xml )
文件应如下所示:

  1. <configuration>
  2. <property>
  3. <name>hadoop.tmp.dir</name>
  4. <value>/home/algo/hdfs/tmp</value>
  5. </property>
  6. <property>
  7. <name>fs.default.name</name>
  8. <value>hdfs://localhost:9000</value>
  9. </property>
  10. </configuration>

解决方案:使用 hdfs://localhost:9000 作为 ip:port .

rkkpypqq

rkkpypqq2#

您使用的端口号可能有问题。试试这个:https://stackoverflow.com/a/60701948/8504709

相关问题