hadoop—在ibmbiginsights中重新启动namenode的过程(启用gpfs—hdfs的透明层)

4smxwvx5  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(434)

我正在开发ibmhadoopdistribution(biginsights),它是使用apacheambari安装的,目前启用了gpfs(generalparallelfilesystem)作为hdfs的透明层。在ambari上,我们在hdfs上启用了维护模式,并且无法通过ambari控制台对core/hdfs-site.xml进行任何更改。所以,如果我想对core/hdfs-site.xml进行任何更改,我必须使用cli从服务器端进行更改,那么我必须如何在gpfs环境中重新启动namenode/datanode?是否需要重新启动将启用新参数的连接器或重新启动namenode?如果连接器工作,那么我有命令“mmhadoopctl”,但如果没有,我必须使用什么命令来启用配置文件中的新参数。

ykejflvf

ykejflvf1#

spectrumscale(gpfs)提供了自己的namenode服务(以及datanode服务)。不过,这只是底层频谱级文件系统和频谱级元数据的 Package 器。namenode服务是无状态的,例如关于文件、acl等的所有信息都保存在spectrum-scale中(并且可以使用posix和spectrum-scale命令行工具从命令行中看到)。 /usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector stop /usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector start /usr/lpp/mmfs/hadoop/sbin/mmhadoopctl connector getstate ie使用gpfs命令,而不是一般的hadoop namenode服务

2hh7jdfx

2hh7jdfx2#

如果下面的文件系统是gpfs(非hdfs),为什么它仍然运行namenode和datanodes?我怀疑gpfs有单独的配置文件,并且不知道您在hdfs-site.xml中设置了什么。
毫无疑问,重新启动namenode非常简单,以hdfs用户身份登录并运行 hadoop-daemon.sh stop namenode 那么 hadoop-daemon.sh stop namenode ,hadoop-daemon.sh脚本在hadoop\u home的sbin下。

相关问题