我使用的是cdh(clouderahadoop)版本5.12.0(它使用hadoop2.6.0oozie4.1.0)和烫伤2.11
我正在使用一个内置了依赖项的着色jar。
我可以使用hadoop jar命令正确运行所有作业,而不会出现任何错误,如下所示:
hadoop jar /<path>/<to>/<my>/<project>.jar com.twitter.scalding.Tool
-libjars <comma>,<separated>,<list>,<of>,<dependencies>
-D mapreduce.framework.name=yarn
-D yarn.app.mapreduce.am.staging-dir=/<path>/<to>/<staging>/<dir>
-D mapreduce.map.output.compress=True
<my>.<scalding>.<job> --hdfs --input <my>/<input> --output <output>/<dir>
我还可以运行一个带有pig操作或其他操作的oozie工作流,不会有任何问题。但是,当我尝试使用java操作运行oozie工作流时,这些java操作称为烫伤,如下所示:
<action name="myAction">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<prepare>
<delete path="<output>/<dir>"/>
</prepare>
<configuration>
<property>
<name>oozie.action.sharelib.for.java</name>
<value>scalding</value>
</property>
<property>
<name>oozie.launcher.mapreduce.task.classpath.user.precedence</name>
<value>true</value>
</property>
<property>
<name>oozie.launcher.mapreduce.task.classpath.first</name>
<value>true</value>
</property>
<property>
<name>oozie.launcher.mapreduce.job.user.classpath.first</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.user.classpath.first</name>
<value>true</value>
</property>
<property>
<name>mapreduce.task.classpath.user.precedence</name>
<value>true</value>
</property>
<property>
<name>mapreduce.task.classpath.first</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.log.level</name>
<value>DEBUG</value>
</property>
<property>
<name>mapreduce.reduce.log.level</name>
<value>DEBUG</value>
</property>
<property>
<name>mapreduce.job.log4j-properties-file</name>
<value>${appLocation}/conf</value>
</property>
<property>
<name>mapreduce.task.files.preserve.failedtasks</name>
<value>true</value>
</property>
<property>
<name>mapreduce.job.jvm.numtasks</name>
<value>-1</value>
</property>
<property>
<name>oozie.mapreduce.uber.jar</name>
<value>/<path>/<to>/<my>/<class>.jar</value>
</property>
</configuration>
<main-class>com.twitter.scalding.Tool</main-class>
<java-opts>-Xms2G -Xmx3G</java-opts>
<arg><my>.<scalding>.<job></arg>
<arg>--hdfs</arg>
<arg>--input</arg>
<arg><my>/<input></arg>
<arg>--output</arg>
<arg><output>/<dir></arg>
<file>/<path>/<to>/<my>/<project>.jar</file>
</java>
<ok to="end" />
<error to="sendEmailFailure" />
我还设置了:
oozie.libpath=<path>/<to>/<lib>/<directory>
oozie.use.system.libpath=true
在我的属性文件中,所有必需的jar都在libpath中,但是在java操作找不到所需的依赖项的情况下,会出现错误:
Error: java.io.IOException: Split class cascading.tap.hadoop.io.MultiInputSplit not found at
org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:363) at
org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432) at
org.apache.hadoop.mapred.MapTask.run(MapTask.java:343) at
org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) at
java.security.AccessController.doPrivileged(Native Method) at
javax.security.auth.Subject.doAs(Subject.java:422) at
org.apache.hadoop.security.usergroupinformation.doas(用户组信息。java:1917)在org.apache.hadoop.mapred.yarnchild.main(yarnchild。java:158)原因:java.lang.classnotfoundexception:在处找不到class cascading.tap.hadoop.io.multiinputsplit
org.apache.hadoop.conf.configuration.getclassbyname(配置。java:2108)在org.apache.hadoop.mapred.maptask.getsplitdetails(maptask。java:361) ... 7个以上
这种情况的发生是不一致的,因为如果我只在工作流中执行一个操作,那么工作流有时会完成,有时会失败。如果我在工作流中放置了多个操作,它最终肯定会在某些操作上失败,不总是相同的操作,但总是有相同的错误。
我相信问题来自于操作获取其依赖项的方式,有时它以正确的顺序加载它们,然后首先获取我想要的依赖项,有时它没有,并且缺少所需的依赖项。但我是奥齐的新手,谁知道呢?
我想我可以增加oozie每个动作的最大尝试次数,但我觉得这并不是一个真正的解决方案,有点类似于对集群掷骰子。
不久前,我看到有人发布了这个问题,并返回到cdh的旧版本(4.1),但这不是我的选择。
建议?
暂无答案!
目前还没有任何答案,快来回答吧!