当我尝试使用puthdfs处理器在hdfs上放置文件时，出现以下错误：我使用hortonworks沙盒hdp和hdf（windows上的docker容器）。这似乎是一个nifi的问题，hdfs是好的，我可以把/写/读。我正在试图解决这个问题，但没有结果，我删除了 Docker 的hdp图像，并得到了一个新的，但没有结果太多。
drnojrws1#
通常，这个错误意味着写入hdfs的内容能够到达namenode，但不能到达datanode。在您的情况下，很可能是两个容器之间的网络配置问题。您可以通过从场景中删除nifi来测试这一点，并在nifi运行的容器上安装hadoop客户机，然后尝试使用hadoop命令行将文件写入hdfs。我希望你也会犯同样的错误。如果是这样，请确保可以从hdf容器ping datanode主机名，确保打开了正确的端口，并确保datanode正在接受来自所有主机的连接，而不仅仅是来自localhost的连接。
1条答案
按热度按时间drnojrws1#
通常，这个错误意味着写入hdfs的内容能够到达namenode，但不能到达datanode。在您的情况下，很可能是两个容器之间的网络配置问题。
您可以通过从场景中删除nifi来测试这一点，并在nifi运行的容器上安装hadoop客户机，然后尝试使用hadoop命令行将文件写入hdfs。我希望你也会犯同样的错误。
如果是这样，请确保可以从hdf容器ping datanode主机名，确保打开了正确的端口，并确保datanode正在接受来自所有主机的连接，而不仅仅是来自localhost的连接。