http—hadoop中使用哪种协议将数据从Map器复制到还原器?

gxwragnw  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(336)

我对hadoop框架用于将mapper输出(本地存储在mapper节点上)复制到reducers任务(不在同一节点上运行)的传输协议有一些疑问阅读一些博客,它使用http的洗牌阶段-也阅读了hdfs数据传输(由mapreduce作业使用)是直接使用tcp/ip套接字完成的。-阅读hadoop中关于rpc的权威指南。
任何指针/参考都会很有帮助。

6yoyoihd

6yoyoihd1#

hadoop使用httpservlets进行中间数据洗牌。请参见下图(摘自wang等人的jvm bypass for efficient hadoop shuffling):

仔细看看2013年出版的“jvm绕过高效hadoop洗牌”作品(全文可用)。

相关问题