hdfs-site.xml:我应该在namenode和datanode上使用相同的文件吗?

yyyllmsg  于 2021-06-04  发布在  Hadoop
关注(0)|答案(1)|浏览(491)

在分布式hadoop集群上,我可以将相同的hdfs-site.xml文件复制到namenodes和datanodes吗?
我看到的一些设置说明(即cloudera)说,在datanodes上有这个文件中的dfs.data.dir属性,在namenode上有这个文件中的dfs.name.dir属性。这意味着我应该有两个hdfs-site.xml副本,一个用于namenode,一个用于datanodes。
但如果它都是一样的,我宁愿只拥有/维护文件的一个副本,并在任何时候更改它时将其推送到所有节点。将dfs.name.dir和dfs.data.dir属性放在同一个文件中是否有任何危害/风险?如果数据节点看到“dfs.name.dir”的属性,会发生什么问题?如果有问题,在namenode上的hdfs-site.xml文件中应该有哪些其他属性,而不是datanode上的?反之亦然。
最后,在我复制到客户机的hdfs-site.xml文件中需要包含哪些属性(不是tasktracker或datanode,只是与hadoop集群对话)?
我到处搜索,包括o'reilly操作手册,但是找不到任何好的文章来描述配置文件在不同节点之间需要如何不同。谢谢!

pqwbnv8z

pqwbnv8z1#

namenode是从masters文件中提取的,因此实际上fsimage和edit日志只会写入namenode,而不会写入datanode,即使您复制了相同的hdfs-site.xml。
对于第二个问题..如果不直接在集群上,就不一定能与hdfs通信。如果您想拥有一个远程客户端,您可以尝试webhdfs并创建某些web服务,使用这些服务您可以在hdfs中写入或访问文件

相关问题