你好，我最近开始读关于hadoop的书。我有几个问题，希望你能帮我。假设我在多节点集群上运行了map reduce java作业。我有一个文件被分为10个不同的数据节点。现在假设我已经为主文件编写了一个查询-是否从主名称节点收到执行计划？它知道所有部分文件的位置吗？它会从所有部分文件中获取所有数据吗？我可以在同一个数据节点上有多个部分文件吗？
eulz3vhy1#
1.是否从主名称节点收到执行计划？否，任务由taskrunner安排，namenode包含有关数据的元数据。i、 e.文件的分割部分存放的地方。2它知道所有部分文件的位置吗？是的，参考第1点三。它会从所有部分文件中获取所有数据吗？不，您的程序将被发送到节点，数据永远不会进入程序。4我可以在同一个数据节点上有多个部分文件吗？是的，这取决于可用性和空间限制，但也有必要确保同一节点中不存在至少一个数据复制。所以如果这个节点坏了，我们仍然可以访问数据。
1条答案
按热度按时间eulz3vhy1#
1.是否从主名称节点收到执行计划？否，任务由taskrunner安排，namenode包含有关数据的元数据。i、 e.文件的分割部分存放的地方。
2它知道所有部分文件的位置吗？是的，参考第1点
三。它会从所有部分文件中获取所有数据吗？不，您的程序将被发送到节点，数据永远不会进入程序。
4我可以在同一个数据节点上有多个部分文件吗？是的，这取决于可用性和空间限制，但也有必要确保同一节点中不存在至少一个数据复制。所以如果这个节点坏了，我们仍然可以访问数据。