在运行一个 Hive Activity
使用 AWS Data Pipeline
,我的配置单元活动失败,出现以下错误:
Diagnostics: Container [pid=,containerID=] is running beyond physical memory limits.
Current usage: 1.0 GB of 1 GB physical memory used;
2.8 GB of 5 GB virtual memory used. Killing container.
当我运行由配置单元活动手动执行的配置单元脚本时,我必须执行它,如下所示:
hive \
-hiveconf tez.am.resource.memory.mb=16000 \
-hiveconf mapreduce.map.memory.mb=10240 \
-hiveconf mapreduce.map.java.opts=-Xmx8192m \
-hiveconf mapreduce.reduce.memory.mb=10240 \
-hiveconf mapreduce.reduce.java.opts=-Xmx8192m \
-hiveconf hive.exec.parallel=true
-f <hive script file path.>
通过这些设置,hive脚本可以完美地执行。
现在的问题是如何将这些设置传递给aws数据管道的配置单元活动?我似乎找不到任何办法通过 -hiveconf
Hive活动。
1条答案
按热度按时间ttp71kqs1#
如何在数据管道中调用配置单元脚本?如果您使用shellcommandactivity,您应该能够像在命令行上一样传递这些-hiveconf,并且它应该可以正常运行。