我们可以在Hadoop集群的名称节点(主节点)中安装Sqoop、Hive和MySQL吗?

dfddblmv  于 2022-12-22  发布在  Hadoop
关注(0)|答案(1)|浏览(239)

我有一个多节点Hadoop群集,作为1个主群集和2个从群集。

  • 我想尝试从MySQL导入并加载到HDFS。
  • 我想让Hive在HDFS上编写配置单元查询。

要执行以上任务,我可以在Hadoop集群的名称节点(主节点)上安装Hive、Sqoop、MySQL吗?
还是说Edgenode是强制性的

xzv2uavs

xzv2uavs1#

拥有edgenode是Hadoop集群中的一种网络架构模式,而不是任何东西的硬性要求。edgenode只运行客户端应用程序,不运行服务器进程(sshd除外)
理想情况下,MySQL独立于Hadoop服务器运行,NameNode也应该是独立的服务器,并为集群增长预留大量RAM。
您甚至可以完全在集群之外运行sqoop,它只需要通过网络访问HDFS和数据库(它基本上是HDFS和JDBC客户机的 Package 器),顺便说一下,Sqoop是一个退休的Apache项目,所以我建议寻找一个替代的解决方案,如Spark(或一个名为Spooq的项目)。

相关问题