hadoop集群中的bigdata边缘节点

waxmsbnn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(3)|浏览(458)

有人能给我解释一下hadoop中边缘节点的体系结构吗。我只能在网上找到定义,我有以下疑问-
1) 边缘节点必须是集群的一部分吗(如果它在集群内部,我们有什么优势?)。它是否在hdfs中存储任何数据块。
2) 边缘节点是否可以在集群之外?

9w11ddsr

9w11ddsr1#

+1与戴尔的解释。在我看来,hadoop集群中的边缘节点通常是负责运行hadoop集群的客户端操作的节点。通常,边缘节点与包含hadoop服务(如hdfs、mapreduce等)的节点保持分离,主要是为了保持计算资源的分离。对于只有几个节点的较小集群,通常会看到节点扮演主服务(jt、nn等)、从服务(tt、dn等)和网关服务的混合角色组合。
请注意,在同一个节点上运行主hadoop服务和从hadoop服务并不是一种理想的设置,可能会导致扩展和资源问题,具体取决于使用的是什么。这种配置通常出现在小型dev环境中。
话虽如此,以下是对您发布的问题的一些回答:

1) 边缘节点必须是集群的一部分吗?

边缘节点不必是集群的一部分,但是,如果它在集群之外(意味着它没有任何特定的hadoop服务角色在其上运行),它将需要一些基本的片段,例如hadoop二进制文件和当前hadoop集群配置文件来提交集群上的作业。

2) 如果在集群内部,我们有什么优势?

根据正在使用的发行版,在集群中运行的边缘节点允许集中管理集群节点上的所有hadoop配置项,这有助于减少更新配置文件所需的管理量。通常这是一种一对多的方法,配置条目在一个位置更新,并被推送到集群中的所有(多个)节点。
但是,当集群中的一个节点也用作边缘节点时,客户机操作会消耗cpu和内存资源,这会减少该节点中正在运行的hadoop服务可以使用的可用资源。

3) 它是否在hdfs中存储数据块?

除非边缘节点配置了datanode服务,否则数据块不会存储在该节点上。

4) 边缘节点是否应该在集群之外?

如上所述,它可以依赖于集群环境和用例;在集群之外配置它的一个支持理由是保持客户机运行和hadoop服务分离。
保持一个边缘节点的分离允许该节点利用hadoop处理可用的全部计算资源。
希望这有帮助!

8ftvxx2r

8ftvxx2r2#

edgenodes不是常用的hadoop术语。我希望你能找到和我一样的定义来回答你的问题…这是戴尔公司的。
edgenode–edgenode是需要利用hadoop环境的外部应用程序、工具和用户的访问点。edgenode位于hadoop集群和公司网络之间,为hadoop环境提供访问控制、策略实施、日志记录和网关服务。一个典型的hadoop环境至少有一个edgenode,根据性能需要有更多edgenode。
所以这真的取决于你。edgenode可能在集群中,也可能不在。它可能运行hadoop软件,或者仅仅能够访问它。就我所见,您根本不需要它—它只是为您访问集群的方式命名的。

icomxhvb

icomxhvb3#

边缘节点只是hadoop集群的一个看门人,它允许您访问hadoop应用程序,如hive、pig。。更确切地说,是客户机与集群进行通信。

相关问题