python—直接将数据流式传输到hdfs中,而无需复制

cqoc49vn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(422)

我正在寻找不同的选项,通过这些选项,我可以使用python直接将数据写入hdfs,而无需存储在本地节点上,然后使用copyfromlocal。
我想使用类似于本地文件的hdfs文件,并使用以行为参数的write方法,如下所示:

hdfs_file = hdfs.create("file_tmp")
   hdfs_file.write("Hello world\n")

是否存在类似于上述用例的东西?

jbose2ul

jbose2ul1#

我不确定是否有python hdfs库,但您可以始终通过hadoop fs put命令进行流式处理,并使用“-”作为源文件名表示从stdin复制:

hadoop fs -put - /path/to/file/in/hdfs.txt

相关问题