如何安全地删除hadoop数据节点以进行维护?

qlfbtfca  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(222)

我想暂时从hadoop集群中取出一台机器。
大多数文档都说,通过将它添加到yarn和dfs.exclude文件中,将其从中删除。我不想将它添加到dfs.exclude和yarn.exclude文件中,并使用 hdfs dfsadmin -refreshNodes ,不过,因为我想把它拿出来,对机器做些改动,尽快恢复联机。我不想通过复制数百GB的数据来避免数据块复制不足!
相反,我希望能够快速关闭机器电源,同时确保:
整个集群仍在运作。
journalmanager或nodemanager进程不会丢失任何数据。
没有Yarn的工作失败或离开时,该进程死亡。
我对如何做到这一点的最佳猜测是:

./hadoop-daemon.sh --hosts hostname stop datanode
./hadoop-daemon.sh --hosts hostname stop journalnode
./yarn-daemon.sh --hosts hostname stop nodemanager

然后当机器重新联机时,分别重新启动这些进程。
安全吗?有没有更有效的方法?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题