我有一个多节点Hadoop群集,作为1个主群集和2个从群集。
要执行以上任务,我可以在Hadoop集群的名称节点(主节点)上安装Hive、Sqoop、MySQL吗?还是说Edgenode是强制性的
xzv2uavs1#
拥有edgenode是Hadoop集群中的一种网络架构模式,而不是任何东西的硬性要求。edgenode只运行客户端应用程序,不运行服务器进程(sshd除外)理想情况下,MySQL独立于Hadoop服务器运行,NameNode也应该是独立的服务器,并为集群增长预留大量RAM。您甚至可以完全在集群之外运行sqoop,它只需要通过网络访问HDFS和数据库(它基本上是HDFS和JDBC客户机的 Package 器),顺便说一下,Sqoop是一个退休的Apache项目,所以我建议寻找一个替代的解决方案,如Spark(或一个名为Spooq的项目)。
sshd
1条答案
按热度按时间xzv2uavs1#
拥有edgenode是Hadoop集群中的一种网络架构模式,而不是任何东西的硬性要求。edgenode只运行客户端应用程序,不运行服务器进程(
sshd
除外)理想情况下,MySQL独立于Hadoop服务器运行,NameNode也应该是独立的服务器,并为集群增长预留大量RAM。
您甚至可以完全在集群之外运行sqoop,它只需要通过网络访问HDFS和数据库(它基本上是HDFS和JDBC客户机的 Package 器),顺便说一下,Sqoop是一个退休的Apache项目,所以我建议寻找一个替代的解决方案,如Spark(或一个名为Spooq的项目)。