看看snakebite，它是一个非常棒的python运行包 hadoop fs 命令集我需要跑步 hadoop dfsadmin python中的一组命令。编写需要运行命令的工具，如 hadoop dfsadmin -report 以及 hadoop dfsadmin -refreshNodes 那么，对于所有在hadoop操作任务上编写工具的优秀python开发人员来说，建议使用什么方法来运行这些命令集呢？脱壳是非常昂贵的，有没有其他推荐的方法/建议？
hadoop fs
hadoop dfsadmin
hadoop dfsadmin -report
hadoop dfsadmin -refreshNodes
jexiocij1#
您可以使用hdfs旧库。我不确定这个库有多完整，但这里有几个链接。最好的办法是引用clouderas hue库来实现python。我确实看到refreshnodes的函数调用。hdfs节俭页面http://wiki.apache.org/hadoop/hdfs-apiscloudera色调库的hdfs-这些是自动生成的节俭https://github.com/cloudera/hue/tree/master/desktop/libs/hadoop/gen-py/hadoop/api/hdfs节俭https://github.com/cloudera/hue/blob/master/desktop/libs/hadoop/java/if/hdfs.thrift
1条答案
按热度按时间jexiocij1#
您可以使用hdfs旧库。我不确定这个库有多完整，但这里有几个链接。最好的办法是引用clouderas hue库来实现python。我确实看到refreshnodes的函数调用。
hdfs节俭页面http://wiki.apache.org/hadoop/hdfs-apis
cloudera色调库的hdfs-这些是自动生成的节俭https://github.com/cloudera/hue/tree/master/desktop/libs/hadoop/gen-py/hadoop/api/hdfs
节俭https://github.com/cloudera/hue/blob/master/desktop/libs/hadoop/java/if/hdfs.thrift