我对hadoop框架用于将mapper输出(本地存储在mapper节点上)复制到reducers任务(不在同一节点上运行)的传输协议有一些疑问阅读一些博客,它使用http的洗牌阶段-也阅读了hdfs数据传输(由mapreduce作业使用)是直接使用tcp/ip套接字完成的。-阅读hadoop中关于rpc的权威指南。任何指针/参考都会很有帮助。
6yoyoihd1#
hadoop使用httpservlets进行中间数据洗牌。请参见下图(摘自wang等人的jvm bypass for efficient hadoop shuffling):仔细看看2013年出版的“jvm绕过高效hadoop洗牌”作品(全文可用)。
1条答案
按热度按时间6yoyoihd1#
hadoop使用httpservlets进行中间数据洗牌。请参见下图(摘自wang等人的jvm bypass for efficient hadoop shuffling):

仔细看看2013年出版的“jvm绕过高效hadoop洗牌”作品(全文可用)。