如何使用python设置hdfs目录配额

ep6jt1vc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(396)

好吧,我想用python设置hdfs dir配额。
设置配额时,我们应该使用 hadoop dfsadmin -setSpaceQuota $QUOTA $DIR 我找到了一个名为pyhdfs的python库(https://github.com/vbarter/pyhdfs),它可以控制许多hdfs操作,但没有配额操作。
如果必须使用python创建目录:

fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()

那么如何在hdfs中设置dir的配额呢?有没有类似的方法?
谢谢

whitzsjs

whitzsjs1#

我不熟悉pyhdfs模块,但是如果它不能满足您的需要,您可以直接调用subshell。

from subprocess import call
call(["hadoop dfsadmin", "-setSpaceQuota ugi 64310"])

这就是我喜欢在python脚本中进行hadoop类型管理的方式。它有它的缺点,但它完成了任务。

相关问题