aws上的oozie配置单元操作-不可预知的ip源中断工作

dauxcl2d  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(276)

我已经经历了几天的残酷折磨,通过oozie在aws 5机群上运行Hive作业。涉及活动元存储的最简单工作的成功或失败是不可预测的。这些错误消息毫无帮助:

Hive failed, error message[Main class [org.apache.oozie.action.hadoop.HiveMain], exit code [1]]

谢谢oozie!
在改变了几乎所有可以想象的设置之后,我仔细研究了hivemetastore.log(我们使用mysql作为metastore),意识到每个成功的请求都来自172.31.40.3。未成功的请求来自172.31.40.2172.31.40.4和172.31.40.5。配置单元控制台应用程序在172.31.40.1上无问题地发出请求
在不知道发生了什么的近一个星期之后,这已经有了进展。现在的问题是,我需要更改什么以允许172.31.40.1-5中的所有请求?或仅通过172.31.40.1或172.31.40.3发送oozie请求。
为什么只有172.31.40.1和172.31.40.3起作用?
所有的意见和建议都受到热烈欢迎。
非常感谢
托比

ylamdve6

ylamdve61#

这最终是如此简单-oozie客户机只安装在集群中5台机器中的2台上。当然,对应于可以向配置单元元存储发出成功请求的2个ip地址
一旦我们将oozie客户机安装到集群中的所有机器上,所有作业都会被自动接受并正常运行
当你知道答案的时候。。。

相关问题