我很难弄清楚,为什么我在使用hive query运行查询时和在同一个hive表上使用hcatalog运行mr时会得到不同数量的Map器。
Difference is significant for same input volume
With Hive Query : 913 mapper
With MR+hcatalog : 3106 mapper
我使用rc文件作为表上的存储格式,我正在访问它。而且我没有在两个位置(Hive或mr)对输入分割大小进行任何调整
任何点击,为什么会发生这种情况,我已经尝试设置mapred.max.split.size=536870912,同时运行mr,这也给了我减少Map器数量的效果。
暂无答案!
目前还没有任何答案,快来回答吧!