几个问题：1。文件\字节\读取与hdfs \字节\读取之间的区别是什么。2当一个客户机准备写一个文件hdfs时，如果在将第一个块传递给第一个datanode时假设它是dn1，如果dn1失败，客户机仍然会写它或丢失它。名称节点在这个阶段是如何处理的？谢谢，s
jdgnovmf1#
我可以回答问题1file_bytes_read：本地文件系统读取的字节数。假设所有map输入数据都来自hdfs，那么在map阶段它应该是零。另一方面，reducer的输入文件是reduce端本地磁盘上的数据，这些本地磁盘是从map端磁盘获取的。因此，它表示由缩减器读取的总字节数。hdfs\u bytes\u read：读取的字节数：表示作业启动时Map程序从hdfs读取的字节数。这些数据不仅包括源文件的内容，还包括有关拆分的元数据。
1条答案
按热度按时间jdgnovmf1#
我可以回答问题1
file_bytes_read：本地文件系统读取的字节数。假设所有map输入数据都来自hdfs，那么在map阶段它应该是零。另一方面，reducer的输入文件是reduce端本地磁盘上的数据，这些本地磁盘是从map端磁盘获取的。因此，它表示由缩减器读取的总字节数。
hdfs\u bytes\u read：读取的字节数：表示作业启动时Map程序从hdfs读取的字节数。这些数据不仅包括源文件的内容，还包括有关拆分的元数据。