根据apache关于hdfs联邦的文档，系统可以通过多个名称节点的独立联邦来扩展。
多个名称节点/名称空间
为了横向扩展名称服务，联合使用多个独立的名称节点/名称空间。namenodes是联合的；namenodes是独立的，不需要相互协调。datanodes被所有namenodes用作块的公共存储。
我唯一的疑问是：
我在name节点中没有看到任何中心协调器，因为所有节点都在运行隔离。对如何提交和处理工作感到困惑。
1） 如果我提交map reduce作业，哪个名称节点将处理它？或
2） 客户端是否应该知道必须为其提交作业的名称节点？
如果客户机不知道哪个名称节点，则应该有一些“主名称节点”来负责将作业分配给特定的名称节点。
它是如何工作的？
提前谢谢。
1条答案
按热度按时间amrnrhlw1#
hadoop联邦是hdfs的一部分。map reduce程序执行等，由yarn监控。
yarn有一个处理作业的资源管理器。资源管理器可以与名称节点（本例中的所有三个节点）通信，并获取数据存在的地址。这是namenode进入图片的唯一点。
所以客户端不需要向namenode提交作业。他将提交给资源经理。