在pig中有一个名为“pig.maxcombinedsplitsize”-指定要由单个Map处理的数据的大小（以字节为单位）。合并较小的文件，直到达到此大小。配置单元中是否有类似的属性用于指定单个Map要处理的数据的大小？我正在尝试下面的命令，但它不工作。
'SET hive.maxCombinedSplitSize=64mb';
有什么建议吗？
rwqw0loc1#
试试这个：
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat; set mapred.min.split.size=67108864;
1条答案
按热度按时间rwqw0loc1#
试试这个：