hadoop联邦的同步问题

zazmityj  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(426)

我有一些关于hadoop联盟的问题。据我所知,它有多个主机(namenode)同时运行。
所以我的问题是,如果一个客户有一个请求,如何确定哪个主机来服务客户的请求。
另一个问题是存储在每个主机中的元数据是否相互并发。
如果主机中的数据是并发的,而两个客户端在两个不同的主机上同时有请求,那么如何处理同步问题。
希望我把问题说清楚。我只在ApacheHadoop上看网页。任何材料和教程都非常感谢。非常感谢您的点评和指正。

im9ewurl

im9ewurl1#

使用客户端装载表,我们可以将文件路径Map到namenodes(下面是core-site.xml配置)

<property>
        <name>fs.viewfs.mounttable.default.link./namenode1</name>
        <value>hdfs://namenode1:9001/home</value>
    </property>
    <property>
        <name>fs.viewfs.mounttable.default.link./namenode2</name>
        <value>hdfs://namenode2:9001/home</value>
    </property>}

例如在put操作期间,我们可以指定路径,请求将转到namenode1

bin/hadoop fs -put file.txt /namenode1/input

在hdfs联邦中,每个namenode管理自己的元数据。

相关问题