我已经在eclipse中安装了hadoop插件。我的mapreduce程序有迭代，我想在每次迭代中读取hdfs中的一个文件。我直接从hdfs读取文件，还是将文件复制到本地然后读取？哪一个更有效？谢谢。
f1tvaqid1#
这完全取决于你想用它做什么；如果要重用文件内容，不妨将其复制到本地以将重复查找保存到hdfs，但如果只需要读取一次，直接从hdfs读取也没有什么坏处，因为复制到本地将涉及从那里读取。
1条答案
按热度按时间f1tvaqid1#
这完全取决于你想用它做什么；如果要重用文件内容，不妨将其复制到本地以将重复查找保存到hdfs，但如果只需要读取一次，直接从hdfs读取也没有什么坏处，因为复制到本地将涉及从那里读取。