需要安装哪种Hadoop和HDFS模式?

tct7dpnv  于 2022-11-01  发布在  Hadoop
关注(0)|答案(1)|浏览(225)

我是一个初学者Hadoop和HDFS,现在我有一个情况,我需要连接3个不同的PC有一个文件,NIFI和Hadop+HDFS.机器1:将有一个.csv文件机器2(个人笔记本电脑):将有我的NIFI运行到它。机器3(运行在我的办公室):将包含Hadoop+HDFS。
现在,我想使用运行在机器2上的nifi将csv文件从机器1发送到运行在机器3上的数据库。
我使用ssh连接连接到机器3,它基本上是我办公室的路由器。
问:我如何从机器2连接到机器3,机器2有nifi,可以将文件发送到我的hadoop hbase。我应该使用公钥作为配置,还是应该使用不同的设置或服务器?
我对haddo和hdfs文件的配置如下
hbase-site.xml

  1. <configuration>
  2. <property>
  3. <name>hbase.cluster.distributed</name>
  4. <value>true</value>
  5. </property>
  6. <property>
  7. <name>hbase.rootdir</name>
  8. <value>hdfs://localhost:9000/hbase</value>
  9. </property>
  10. <property>
  11. <name>hbase.zookeeper.property.clientPort</name>
  12. <value>2222</value>
  13. </property>
  14. <property>
  15. <name>hbase.zookeeper.property.dataDir</name>
  16. <value>/home/hadoop/zookeeper</value>
  17. </property>
  18. </configuration>
  19. <property>
  20. <name>hbase.wal.provider</name>
  21. <value>filesystem</value>
  22. </property>
  23. <property>
  24. <name>hbase.tmp.dir</name>
  25. <value>./tmp</value>
  26. </property>
  27. </configuration>

core-site.xml

  1. <configuration>
  2. <property>
  3. <name>hadoop.tmp.dir</name>
  4. <value>/home/hdoop/tmpdata</value>
  5. </property>
  6. <property>
  7. <name>fs.default.name</name>
  8. <value>hdfs://localhost:9000</value>
  9. </property>
  10. </configuration>

hdfs-site.xml

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.name.dir</name>
  8. <value>file:///home/hadoop/hdfs/namenode</value>
  9. </property>
  10. <property>
  11. <name>dfs.data.dir</name>
  12. <value>file:///home/hadoop/hdfs/datanode</value>
  13. </property>
  14. </configuration>

查看配置文件,让我知道我需要在哪里更改属性,并且我已经在机器3中安装了psudo分布式模式HDFS。

ibrsph3r

ibrsph3r1#

伪分布式和完全分布式没有任何区别。
你说只有机器3有HDFS,因此只有它需要运行Namenode和Datanode,以分布式方式设置,这意味着外部客户端将能够与它通信。
更具体地说,任何配置文件都不应使用localhost,而应使用LAN IP或主机名

相关问题