Yarn组件

23c0lvtd  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(306)

是什么
节点管理器
容器
应用程序主控
Yarn(map 2.0)?
https://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/yarn.html
还想知道为什么在上面链接的图的底框中没有应用程序主机?
我不是在寻找它做什么,而是在寻找它是什么like=>不确定container是否意味着like spring container(这意味着jar文件列表?)还是像web服务器那样的服务器?应用程序主控是指java类吗?)

a6b3iqyw

a6b3iqyw1#

容器是指在每个节点上捆绑或设置的资源,如ram、cpu、磁盘、网络等。
nodemanager类似于Hadoop1.x中的tasktracker,它是mapreduce的HadoopCluster的从属节点。
applicationmaster是每个应用程序主程序,它监视作业生命周期并与resourcemanager(与Hadoop1.x中的jobtracker相同)协商资源。
在hadoop2.0(yarn)中,jobtracker的角色分为两部分。
全球资源经理。
每个应用程序都有一个applicationmaster。
每个节点的从属节点是nodemanger。
nodemanager在resourcemanager和applicationmaster的帮助下启动容器来运行map和reduce任务。
在hadoop2.x中,jobtarcker和tasktracker都已经过时了。

gblwokeq

gblwokeq2#

节点管理器是每台机器的框架代理,负责启动应用程序的容器,监视它们的资源使用情况(cpu、内存、磁盘、网络),并将其报告给调度器。
容器是一个抽象概念,它包含了内存、cpu、磁盘、网络等元素—来自mapreduce\u nextgen\u体系结构。它可以被看作是一个可序列化的java对象,包含以下信息

message ContainerProto {
optional ContainerIdProto id = 1;
optional NodeIdProto nodeId = 2;
optional string node_http_address = 3;
optional ResourceProto resource = 4;
optional PriorityProto priority = 5;
optional hadoop.common.TokenProto container_token = 6;
}

mapreduce作业的应用程序主机是一个java应用程序,它的主类是mrappmaster-来自“hadoop-权威指南”

相关问题