计算和控制配置单元查询使用的Map器数

tyky79it  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(426)

我有一个配置单元表t1,它有104个文件。在104个文件中,1个文件是61 mb,其余103个文件小于1 mb。当我执行查询时

select count(*) from t1

29个Map器与1个减速器一起执行。我想弄清楚为什么有29个Map绘制者,如何减少Map绘制者的数量?

mapreduce.input.fileinputformat.split.maxsize=256MB
mapreduce.input.fileinputformat.split.maxsize=1kb

谢谢

kupeojn6

kupeojn61#

尝试使用以下选项设置Map器
设置mapred.map.tasks=20;
还要检查数据块的总数。
hdfs dfs-du-s-h/应用程序/配置单元/仓库//
每个块将独立处理。每个Map器可以根据您正在设置的Map器编号处理多个块。

相关问题