我同时运行3个以上的pig脚本。但是,所有工作流都被保留。我查了日志文件。它总是弹出“心跳”。我的工作流仅在一个namenode上运行。我在网上查了这个问题。似乎我可以配置mapred.job.queue.name。但是,我不知道如何使用它。你能给我一些建议吗?
m3eecexj1#
这是小型集群的常见问题。每次oozie运行工作流时,它都会生成一个启动器作业,负责启动工作流中编写的不同操作。此作业在运行第一个操作之前创建,并将在最后一个操作完成后结束。这意味着,如果你开始6个oozie工作,你已经有6个Map槽采取没有做任何真正的工作。一个可能的解决方案是在单独的启动程序队列而不是默认队列上运行启动程序作业。您可以通过在oozie workflow.xml中的pig操作中设置此部分来实现这一点
<configuration> <property> <name>oozie.launcher.mapred.job.queue.name</name> <value>launcherqueue</value> </property> </configuration>
slmsl1lt2#
我也有同样的问题。我试着放弃使用oozie提交你的Pig脚本。我尝试使用bash脚本,效果很好。例如:
pig -f /path/to/pig/scripts/script1.pig -param input=inputValue & pig -f /path/to/pig/scripts/script2.pig -param input=inputValue & . . .
谢谢
9w11ddsr3#
你好 Heart beat 由于hadoop中的总内存大小不足而发生错误。这是因为你可能在小型集群机上运行。解决方案:因此您希望增加所有节点管理器的总内存大小,以执行mapreduce作业。步骤如下链接“心跳错误解决方案”
Heart beat
bzzcjhmw4#
可能你用完了jobtracker上的免费mapper或reducer插槽。尝试增加mapred-site.xml中“mapred.map.tasks”和“mapred.reduce.tasks”的值。
4条答案
按热度按时间m3eecexj1#
这是小型集群的常见问题。
每次oozie运行工作流时,它都会生成一个启动器作业,负责启动工作流中编写的不同操作。此作业在运行第一个操作之前创建,并将在最后一个操作完成后结束。
这意味着,如果你开始6个oozie工作,你已经有6个Map槽采取没有做任何真正的工作。
一个可能的解决方案是在单独的启动程序队列而不是默认队列上运行启动程序作业。您可以通过在oozie workflow.xml中的pig操作中设置此部分来实现这一点
slmsl1lt2#
我也有同样的问题。我试着放弃使用oozie提交你的Pig脚本。我尝试使用bash脚本,效果很好。例如:
谢谢
9w11ddsr3#
你好
Heart beat
由于hadoop中的总内存大小不足而发生错误。这是因为你可能在小型集群机上运行。解决方案:因此您希望增加所有节点管理器的总内存大小,以执行mapreduce作业。步骤如下链接“心跳错误解决方案”
bzzcjhmw4#
可能你用完了jobtracker上的免费mapper或reducer插槽。尝试增加mapred-site.xml中“mapred.map.tasks”和“mapred.reduce.tasks”的值。