当我尝试使用python和多处理在hdfs中创建一个目录时,假设我有10个示例尝试创建hdfs目录,期望10个示例中只有1个成功创建了目录,其余的示例应该说“directory exists”失败。但是如果您运行下面提到的代码,您可能会注意到它不止一次成功了。
from multiprocessing import Pool
import os
def dir_create(n):
check = os.system("hadoop fs -mkdir /user/vamsi")
print(str(n), "---", check)
p = Pool(5)
p.map(dir_create, [1,2,3,4,5,6,7,8,9,10])
这里如果check=0,则为成功。请帮助获得一个解决方案,在只有一个示例目录将被创建,在其余的示例,它应该失败。
暂无答案!
目前还没有任何答案,快来回答吧!