好吧,我想用python设置hdfs dir配额。
设置配额时,我们应该使用 hadoop dfsadmin -setSpaceQuota $QUOTA $DIR
我找到了一个名为pyhdfs的python库(https://github.com/vbarter/pyhdfs),它可以控制许多hdfs操作,但没有配额操作。
如果必须使用python创建目录:
fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()
那么如何在hdfs中设置dir的配额呢?有没有类似的方法?
谢谢
1条答案
按热度按时间whitzsjs1#
我不熟悉pyhdfs模块,但是如果它不能满足您的需要,您可以直接调用subshell。
这就是我喜欢在python脚本中进行hadoop类型管理的方式。它有它的缺点,但它完成了任务。