当我阅读hadoop权威指南时,我停留在下面sentence:-写入reduce输出确实会消耗网络带宽,但仅与普通hdfs写入管道消耗的带宽相同。问题:1。有人能帮我更详细地理解上面的句子吗。2“hdfs写管道”是什么意思?
mzsu5hc01#
可以理解为follows:-
qjp7pelc2#
当文件写入hdfs时,许多事情都在幕后进行,与hdfs块一致性和复制有关。到目前为止,这个过程的主要io组件是复制。还有与名称节点的双向通信,名称节点记录块的存在和状态。我认为,当它说“编写管道”时,它只是指以下过程:创建块向nn注册正在执行复制对磁盘进行写刷新在集群中保持块状态(位置、已锁定、上次更新、校验和等)
2条答案
按热度按时间mzsu5hc01#
可以理解为follows:-
qjp7pelc2#
当文件写入hdfs时,许多事情都在幕后进行,与hdfs块一致性和复制有关。到目前为止,这个过程的主要io组件是复制。还有与名称节点的双向通信,名称节点记录块的存在和状态。
我认为,当它说“编写管道”时,它只是指以下过程:
创建块
向nn注册
正在执行复制
对磁盘进行写刷新
在集群中保持块状态(位置、已锁定、上次更新、校验和等)