hadoop client.rmproxy:连接到resourcemanager

yb3bgrhw 于 2021-06-03 发布在 Hadoop

关注(0)|答案(3)|浏览(858)

hadoop client.rmproxy:连接到resourcemanager
我在linux上设置单节点群集：http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/
当我运行mapreduce应用程序时，如下所示： hadoop jar hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+ ```
I got the ff INFO:
15/02/25 23:42:54 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
15/02/25 23:42:56 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/02/25 23:42:59 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
15/02/25 23:43:02 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)

日本：

5232 SecondaryNameNode
6482 RunJar
5878 NodeManager
6521 Jps
4905 NameNode
5759 ResourceManager
5023 DataNode

设置单节点群集时如何连接到resourcemanager？
我试图增加 `yarn-site.xml` ，但不起作用。

hadoop yarn

来源：https://stackoverflow.com/questions/28723442/hadoop-client-rmproxy-connecting-to-resourcemanager

3条答案

按热度按时间

yjghlzjz1#

我在kubernetes上运行hadoop示例时遇到了同样的问题。问题出现在错误消息本身“尝试连接到resourcemanager时出现连接错误”。
ps:resourcemanager侦听端口8032（除非更改）
确保您在与resourcemanager相同的网络中运行mapreduce作业，因为它将侦听此地址： http://<RESOURCE_MANAGER_IP>:8032

赞(0）回复(0）举报 2021-06-04

7rfyedvj2#

请记住运行hadoop的一个方面。给出了三种模式：独立模式、伪分布式模式和全分布式模式。
独立和伪分布式在同一个节点上运行。实际上，它们只在你的机器上运行。这不需要您显示的配置：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/singlecluster.html
首先，对于yarn-site.xml中的单个节点，这就是您所需要的：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

但也可以使用进一步的配置。我的虚拟分布模式站点如下：

<configuration>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>localhost:8025</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>localhost:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>localhost:8050</value>
</property>

提示：确保您在configs文件中键入的ip。我建议您将此ip添加到etc/主机并提供主机名。因此，在配置文件中使用主机名。

赞(0）回复(0）举报 2021-06-04

voj3qocg3#

此问题可能是由于缺少hadoop\u conf\u dir，mapreduce应用程序需要该dir来连接到yarn-site.xml中提到的资源管理器。因此，在运行mapreduce作业之前，请尝试使用适当的hadoop conf目录手动设置/导出hadoop conf dir，例如export hadoop conf dir=/etc/hadoop/conf

赞(0）回复(0）举报 2021-06-03

我来回答

hadoop client.rmproxy:连接到resourcemanager

3条答案

相关问题

热门标签

最新问答