我目前正在做一个使用hadoop（2.7.0）的项目，我已经配置了一个两节点集群，并且正在工作（大部分情况下）。我可以手动运行Map器/缩减器作业，没有任何问题。但是当我尝试用hadoopy开始一个工作时，我得到了一个错误。调试完错误后，我看到它源自hadoopy执行的以下命令：
hadoop fs -mkdir _hadoopy_tmp这会产生错误：
mkdir: '_hadoopy_tmp': No such file or directory手动执行时，如果在文件目录名前面加一个“/”，mkdir可以正常工作。如果我不以“/”开头，我会得到与上面相同的错误。ls命令也是如此（ls/给我一个结果ls。给我一个错误，没有这样的文件或目录）。我猜我把hadoop的配置搞砸了。我只是不知道在哪里。
edit:to clearify：我知道应该使用mkdir命令和一个直接路径（ea/在它前面）。当通过终端与hadoop交互时，我会这样做。但是hadoopy框架似乎没有做到这一点（它抛出了如上所示的错误）。我的问题是：hadoopy中是否有修复/解决方法，或者我是否必须重写这些源代码？
1条答案
按热度按时间pcww981p1#
我不知道什么是'手动'为您，但您看到的错误是非常有意义的，在我看来，如果你想创建一个目录在hadoop fs，你应该给出确切的路径来做这件事。没什么问题，你也没搞砸什么。我建议你这样做：
pd：我对hadoopy一无所知，我只是从我使用hadoop的经验来谈的（有些项目应该在这两个方面都得到同等的处理，所以这就是我在这里回答的原因，如果我错了，请纠正我的错误）