由于配置单元动态分区的默认值是每个节点100,在我的情况下,动态分区的值大于100,这就是我的作业失败的原因,所以有人能建议什么是克服此问题的最佳方法吗。提前谢谢
jdgnovmf1#
您必须在动态分区之前设置这些所需的属性:
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions.pernode=1000;
我希望这能帮助你!!!
1条答案
按热度按时间jdgnovmf1#
您必须在动态分区之前设置这些所需的属性:
我希望这能帮助你!!!