ProtobufRPC在Hadoop2.2.0单节点服务器上不可用?

qjp7pelc  于 2021-06-04  发布在  Hadoop
关注(0)|答案(2)|浏览(545)

我正尝试在通过以下教程安装的本地单节点群集上运行hadoop 2.2.0 mapreduce作业:http://codesfusion.blogspot.co.at/2013/10/setup-hadoop-2x-220-on-ubuntu.html?m=1
虽然在服务器端引发了以下异常:

org.apache.hadoop.ipc.RpcNoSuchProtocolException: Unknown protocol: org.apache.hadoop.yarn.api.ApplicationClientProtocolPB
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.getProtocolImpl(ProtobufRpcEngine.java:527)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:566)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)

有没有一种方法可以让我将protobufrpc配置为在服务器端可用?我需要hadoop本机库吗?或者我可以在客户端切换到writables/avro-rpc吗?

apeeds0o

apeeds0o1#

好的,找到原因了,我连接到了错误的端口。正确的配置是:yarn.resourcemanager.address=localhost:8032

wvmv3b1j

wvmv3b1j2#

在我的例子中,当应用程序主程序和容器之间没有足够的内存时,日志中也会出现同样的错误。减少了yarn.app.mapreduce.am.resource.mb属性,它在我的单节点安装中起到了作用。

相关问题