我对hadoop框架用于将mapper输出（本地存储在mapper节点上）复制到reducers任务（不在同一节点上运行）的传输协议有一些疑问阅读一些博客，它使用http的洗牌阶段-也阅读了hdfs数据传输（由mapreduce作业使用）是直接使用tcp/ip套接字完成的。-阅读hadoop中关于rpc的权威指南。任何指针/参考都会很有帮助。
6yoyoihd1#
hadoop使用httpservlets进行中间数据洗牌。请参见下图（摘自wang等人的jvm bypass for efficient hadoop shuffling）：仔细看看2013年出版的“jvm绕过高效hadoop洗牌”作品（全文可用）。
1条答案
按热度按时间6yoyoihd1#
hadoop使用httpservlets进行中间数据洗牌。请参见下图（摘自wang等人的jvm bypass for efficient hadoop shuffling）：
仔细看看2013年出版的“jvm绕过高效hadoop洗牌”作品（全文可用）。