我正在尝试使用python在hdfs中创建一个文件/目录。为了清楚起见，我正在用python编写的mapper运行hadoop流作业。这个Map程序实际上是试图在hdfs中创建一个文件。我读到有几个python框架可以做到这一点，但我的兴趣是hadoop流媒体。那么，在hadoop流媒体中有什么方法可以做到这一点吗？。
ymdaylpp1#
可以在脚本python中运行hdfs命令
import sys, subprocess def run_cmd(args_list): proc = subprocess.Popen(args_list, stdout=subprocess.PIPE,stderr=subprocess.PIPE) (output, errors) = proc.communicate() if proc.returncode: raise RuntimeError('Error run_cmd') return (output, errors)
然后跑
(out, errors)=run_cmd(['hdfs','dfs','-mkdir','%s' %apth_HDFS_to_create_folder])
1条答案
按热度按时间ymdaylpp1#
可以在脚本python中运行hdfs命令
然后跑