我在本地Windows计算机上的文件中有数据。本地计算机上运行了Apache NiFi。我想使用NiFi通过网络将此文件发送到HDFS。我如何在本地计算机上的NiFi中配置putHDFS处理器，以便我可以通过网络将数据发送到HDFS？谢谢大家!
a7qyws3x1#
您需要将core-site.xml和hdfs-site.xml从一个Hadoop节点复制到运行NiFi的机器上，然后配置PutHDFS，使配置资源为“/path/to/core-site.xml，/path/to/hdfs-site.xml”。从NiFi的Angular 来看，这些文件包含连接到Hadoop集群所需的所有信息。您还需要确保运行NiFi的机器可以通过网络访问Hadoop集群中的所有机器。您可以查看这些配置文件，找到任何主机名和IP地址，并确保可以从运行NiFi的机器访问它们。
6mw9ycah2#
使用GetFile处理器或ListFile/FetchFile组合，可以将此文件从本地磁盘带入NiFi并将其传递到PutHDFS处理器。PutHDFS处理器依赖于其配置中关联的core-site.xml和hdfs-site.xml文件。
bsxbgnwa3#
只需将Hadoop核心配置文件目录添加到第一个字段
$HADOOP_HOME/conf/hadoop/hdfs-site.xml, $HADOOP_HOME/conf/hadoop/core-site.xml
并将数据摄取的hdfs目录设置为存储在"Directory“字段中，其他内容默认。
3条答案
按热度按时间a7qyws3x1#
您需要将core-site.xml和hdfs-site.xml从一个Hadoop节点复制到运行NiFi的机器上，然后配置PutHDFS，使配置资源为“/path/to/core-site.xml，/path/to/hdfs-site.xml”。从NiFi的Angular 来看，这些文件包含连接到Hadoop集群所需的所有信息。
您还需要确保运行NiFi的机器可以通过网络访问Hadoop集群中的所有机器。您可以查看这些配置文件，找到任何主机名和IP地址，并确保可以从运行NiFi的机器访问它们。
6mw9ycah2#
使用GetFile处理器或ListFile/FetchFile组合，可以将此文件从本地磁盘带入NiFi并将其传递到PutHDFS处理器。PutHDFS处理器依赖于其配置中关联的core-site.xml和hdfs-site.xml文件。
bsxbgnwa3#
只需将Hadoop核心配置文件目录添加到第一个字段
并将数据摄取的hdfs目录设置为存储在"Directory“字段中，其他内容默认。