如何更改aws数据管道中运行的配置单元活动的内存设置?

uqcuzwp8  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(459)

在运行一个 Hive Activity 使用 AWS Data Pipeline ,我的配置单元活动失败,出现以下错误:

Diagnostics: Container [pid=,containerID=] is running beyond physical memory limits. 
Current usage: 1.0 GB of 1 GB physical memory used;
2.8 GB of 5 GB virtual memory used. Killing container.

当我运行由配置单元活动手动执行的配置单元脚本时,我必须执行它,如下所示:

hive \
-hiveconf tez.am.resource.memory.mb=16000 \
-hiveconf mapreduce.map.memory.mb=10240 \
-hiveconf mapreduce.map.java.opts=-Xmx8192m \
-hiveconf mapreduce.reduce.memory.mb=10240 \
-hiveconf mapreduce.reduce.java.opts=-Xmx8192m \
-hiveconf hive.exec.parallel=true
-f <hive script file path.>

通过这些设置,hive脚本可以完美地执行。
现在的问题是如何将这些设置传递给aws数据管道的配置单元活动?我似乎找不到任何办法通过 -hiveconf Hive活动。

ttp71kqs

ttp71kqs1#

如何在数据管道中调用配置单元脚本?如果您使用shellcommandactivity,您应该能够像在命令行上一样传递这些-hiveconf,并且它应该可以正常运行。

相关问题