运行超过5个pig和死锁

tct7dpnv  于 2021-06-21  发布在  Pig
关注(0)|答案(4)|浏览(270)

我同时运行3个以上的pig脚本。但是,所有工作流都被保留。我查了日志文件。它总是弹出“心跳”。
我的工作流仅在一个namenode上运行。我在网上查了这个问题。似乎我可以配置mapred.job.queue.name。但是,我不知道如何使用它。
你能给我一些建议吗?

m3eecexj

m3eecexj1#

这是小型集群的常见问题。
每次oozie运行工作流时,它都会生成一个启动器作业,负责启动工作流中编写的不同操作。此作业在运行第一个操作之前创建,并将在最后一个操作完成后结束。
这意味着,如果你开始6个oozie工作,你已经有6个Map槽采取没有做任何真正的工作。
一个可能的解决方案是在单独的启动程序队列而不是默认队列上运行启动程序作业。您可以通过在oozie workflow.xml中的pig操作中设置此部分来实现这一点

<configuration>
    <property>
      <name>oozie.launcher.mapred.job.queue.name</name>
      <value>launcherqueue</value>
    </property>
  </configuration>
slmsl1lt

slmsl1lt2#

我也有同样的问题。我试着放弃使用oozie提交你的Pig脚本。我尝试使用bash脚本,效果很好。例如:

pig -f /path/to/pig/scripts/script1.pig -param input=inputValue &
pig -f /path/to/pig/scripts/script2.pig -param input=inputValue &
.
.
.

谢谢

9w11ddsr

9w11ddsr3#

你好 Heart beat 由于hadoop中的总内存大小不足而发生错误。这是因为你可能在小型集群机上运行。
解决方案:因此您希望增加所有节点管理器的总内存大小,以执行mapreduce作业。步骤如下链接“心跳错误解决方案”

bzzcjhmw

bzzcjhmw4#

可能你用完了jobtracker上的免费mapper或reducer插槽。尝试增加mapred-site.xml中“mapred.map.tasks”和“mapred.reduce.tasks”的值。

相关问题