使用mr+hcatalog v/s配置单元运行的不同Map程序数

fd3cxomn  于 2021-06-03  发布在  Hadoop
关注(0)|答案(0)|浏览(196)

我很难弄清楚,为什么我在使用hive query运行查询时和在同一个hive表上使用hcatalog运行mr时会得到不同数量的Map器。

Difference is significant for same input volume
With Hive Query : 913 mapper
With MR+hcatalog : 3106 mapper

我使用rc文件作为表上的存储格式,我正在访问它。而且我没有在两个位置(Hive或mr)对输入分割大小进行任何调整
任何点击,为什么会发生这种情况,我已经尝试设置mapred.max.split.size=536870912,同时运行mr,这也给了我减少Map器数量的效果。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题