我需要集群的每个节点从hdfs中检索一个1gb的文件。我使用文件系统的copytolocalfile方法。但不是整个文件（1gb），而是每个节点检索大约50mb的文件，然后代码继续。结果我的工作失败了。为什么会发生这种情况？有没有办法“等待”直到整个文件被复制到本地fs？编辑：我的Map器类检查文件是否存在于节点的本地fs中，如果不存在，则检索它。这是在setup（）函数中完成的。
xghobddn1#
从上次编辑：编辑：我的Map器类检查文件是否存在于节点的本地fs中，如果不存在，则检索它。这是在setup（）函数中完成的。您所描述的正是distributedcache的设计目的—它将确保在任何map/reduce任务在该节点上运行之前将文件复制到每个任务跟踪器。
1条答案
按热度按时间xghobddn1#
从上次编辑：
编辑：我的Map器类检查文件是否存在于节点的本地fs中，如果不存在，则检索它。这是在setup（）函数中完成的。
您所描述的正是distributedcache的设计目的—它将确保在任何map/reduce任务在该节点上运行之前将文件复制到每个任务跟踪器。