在过去的两年里，hadoop流媒体有了很大的发展。根据cloudera的说法，这相当快：http://blog.cloudera.com/blog/2013/01/a-guide-to-python-frameworks-for-hadoop/ 我做得很成功。

您可以使用webhdfs python库（构建在urllib3之上）：

from hdfs import InsecureClient
client_hdfs = InsecureClient('http://host:port', user='root')
with client_hdfs.write(access_path) as writer:
    dump(records, writer)  # tested for pickle and json (doesnt work for joblib)

或者可以使用python中的requests包：

import requests
from json import dumps
params = (('op', 'CREATE')
('buffersize', 256))
data = dumps(file)  # some file or object - also tested for pickle library
response = requests.put('http://host:port/path', params=params, data=data)  # response 200 = successful

希望这有帮助！

如果需要xreadlines，它从文件中读取行，而不将整个文件加载到内存中。
编辑：
现在我明白你的问题了，你只需要把水管从你的嘴里拿出来 Popen 对象：

cat = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/myfile"], stdout=subprocess.PIPE)
for line in cat.stdout:
    print line

如果您想避免不惜任何代价添加外部依赖项，keith的答案是正确的。另一方面，pydoop可以让你的生活更轻松：

import pydoop.hdfs as hdfs
with hdfs.open('/user/myuser/filename') as f:
    for line in f:
        do_something(line)

关于您的问题，pydoop正在积极开发，并在crs4的生产中使用了多年，主要用于计算生物学应用。
西蒙尼