使用hdfscli python模块。
一个简单的例子，对于安全性关闭的hdfs环境，如下所示

from hdfs import InsecureClient

hdfsclient = InsecureClient('http://nn_host:port', user='superuser')
hdfsclient.upload(hdfspath, localpath)

使用 TokenClient 或者 KerberosClient 基于安全实现。
注：需要 WebHDFS （默认启用）

import subprocess

hdfs_cmd = "hadoop fs -put local_file_path hdfs_file_path"

subprocess.call(hdfs_cmd, shell=True)