HDFS 如何在机器2中使用nifi将csv文件从机器1发送到机器3?

mkshixfv  于 2022-12-09  发布在  HDFS
关注(0)|答案(1)|浏览(241)

我的场景中有3台机器机器1:具有.csv文件计算机2:Nifi已安装并正在运行机器3:HDFS和Hbase已安装并正在运行。
现在,我必须使用运行在机器2中的nifi将.csv文件从机器1发送到运行在机器3中的HBase表。
为了从机器1获取文件,我使用了GetSFTP处理器,在机器2中运行nifi之前,我可以获取.csv文件。现在,我不知道使用哪个处理器,以便将文件发送到机器3中运行的hbase表?我使用了PutHbaserecord,但如果我的habse和hdfs在机器2中运行,这只是帮助我存储在habse表中。
所以谁能告诉我如何使用nifi发送到机器3?
hbase-site.xml

<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
 <property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
  </property>
</configuration>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
 <property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
</configuration>

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdoop/tmpdata</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
 <value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>
gtlvzcf8

gtlvzcf81#

我已经使用了PutHbasecord,但如果我的hbase和hdfs在机器2中运行,这只是帮助我存储在hbase表中
我不认为这是正确的。根据文档,您需要提供HBase客户端服务
https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-hbase-nar/1.6.0/org.apache.nifi.hbase.PutHBaseRecord/
在本服务中,您将提供Hadoop配置文件(hbase-site.xml),其中包含远程HBase集群(通过Zookeeper)的IP:port信息,该集群将不是本地主机;如果给出Nifi(或者Zookeeper返回)localhost,那么是的,它会认为HBase正在Nifi节点上运行。
您应该只需要在xml中设置这些参数即可连接到分布式hbase集群

  • hbase.zookeeper.quorum
  • hbase.zookeeper.property.clientPort

顺便说一句,hbase有自己的CLI命令用于导入CSV文件,而Nifi对于简单的上传数据任务来说似乎有些大材小用

相关问题