map reduce的第一步是将输入文件复制到hdfs。想知道这些东西到底存放在哪里；在名称节点或数据节点或其他地方？当我们说copy to hdfs时，我们最初将输入文件存储在哪里我知道以后我们会拆分并存储在数据节点上）。或者我们直接从源/输入机器的块复制到数据节点我确信事实并非如此）
ie3xauqp1#
将文件放入hdfs是客户机、名称节点和数据节点之间的协调工作。在一个非常高的级别上，客户机与name节点通信以确定需要存储文件的数据节点，然后客户机将第一个块发送到初始数据节点并传输该文件，随后从该特定数据节点传输用于复制该特定块的数据。从这里阅读详细的协议。
1条答案
按热度按时间ie3xauqp1#
将文件放入hdfs是客户机、名称节点和数据节点之间的协调工作。在一个非常高的级别上，客户机与name节点通信以确定需要存储文件的数据节点，然后客户机将第一个块发送到初始数据节点并传输该文件，随后从该特定数据节点传输用于复制该特定块的数据。
从这里阅读详细的协议。