我目前正在使用python3，希望从hdfs中加载pickle文件。
from pywebhdfs.webhdfs import PyWebHdfsClient
import pickle
hdfs = PyWebHdfsClient(host='...', user_name='...')
pickled_model = hdfs.read_file(pickle_path)
model = pickle.load(pickled_model)
TypeError: file must have 'read' and 'readline' attributes在pickle加载阶段出现类型错误。我找到了一个使用 pydoop 然后解开它。但不幸的是，我不能使用python2.7。有类似的选择吗？
1条答案
按热度按时间cngwdvgl1#
根据blubb，
pickle.load需要python文件处理程序。hdfs.read_file在本例中返回字节并使用pickle.loads正确阅读模型。