我的hadoop集群由于网络状况而无法正常工作。如果我像另一个路由器一样更改整个网络,从而更改ip地址怎么办?集群是否仍然可以通过更新一些配置来工作?或者我必须拆掉它重建一切?提前谢谢
arknldoa1#
一旦你将ip地址更改为配置,它就会工作,你为什么不使用dns呢?好吧,这不是一个好的答案,让我道歉,给一个更好的答案。如果您需要更改正在运行的集群上的配置,您可以解除数据节点的工作并对其进行调试。关闭数据节点不是一个好主意。数据节点停用第一步是告诉Yarn你要删除一些节点,然后你必须说同样的节点管理器。我不知道你的系统是否配置为退役,如果是这样的话你就有钥匙了 yarn.resourcemanager.nodes.exclude-path 进入 yarn-site.xml 以及 dfs.hosts.exclude 进入 hdfs-site.xml hdfs-site.xml文件
yarn.resourcemanager.nodes.exclude-path
yarn-site.xml
dfs.hosts.exclude
hdfs-site.xml
<property> <name>dfs.hosts.exclude</name> <value>$YOUR_PATH/dfs.exclude</value> <final>true</final> </property>
yarn-site.xml文件
打开文件 $YOUR_PATH/dfs.exclude 并添加需要停止的节点的主机名/ip地址。执行
$YOUR_PATH/dfs.exclude
yarn rmadmin -refreshNodes hdfs dfsadmin -refreshNodes
检查数据节点是否处于停用状态检查web界面。数据节点调试和退役的方式一样yarn-site.xml文件
<property> <name>yarn.resourcemanager.nodes.include-path</name> <value>$YOUR_PATH/dfs.include</value> <final>true</final> </property>
hdfs-site.xml文件
<property> <name>dfs.hosts</name> <value>$YOUR_PATH/dfs.include</value> <final>true</final> </property>
打开文件 $YOUR_PATH/dfs.include 并添加需要添加的节点的主机名/ip地址。
$YOUR_PATH/dfs.include
等一下
hdfs dfsadmin -report
现在,您添加的主机已添加到列表中。如果配置缺少上述键,则需要在添加它们之后停止/重新启动节点管理器和Yarn。使用这些过程可以安全地停止数据节点。
1条答案
按热度按时间arknldoa1#
一旦你将ip地址更改为配置,它就会工作,你为什么不使用dns呢?
好吧,这不是一个好的答案,让我道歉,给一个更好的答案。如果您需要更改正在运行的集群上的配置,您可以解除数据节点的工作并对其进行调试。
关闭数据节点不是一个好主意。
数据节点停用
第一步是告诉Yarn你要删除一些节点,然后你必须说同样的节点管理器。
我不知道你的系统是否配置为退役,如果是这样的话你就有钥匙了
yarn.resourcemanager.nodes.exclude-path
进入yarn-site.xml
以及dfs.hosts.exclude
进入hdfs-site.xml
hdfs-site.xml文件yarn-site.xml文件
打开文件
$YOUR_PATH/dfs.exclude
并添加需要停止的节点的主机名/ip地址。执行
检查数据节点是否处于停用状态检查web界面。
数据节点调试
和退役的方式一样
yarn-site.xml文件
hdfs-site.xml文件
打开文件
$YOUR_PATH/dfs.include
并添加需要添加的节点的主机名/ip地址。等一下
现在,您添加的主机已添加到列表中。
如果配置缺少上述键,则需要在添加它们之后停止/重新启动节点管理器和Yarn。
使用这些过程可以安全地停止数据节点。