amazon emr-yum update boostrap action在slave上失败

5ktev3wc  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(203)

我要重写这个问题,因为我得到了很多最新的信息。
我的问题如下:
我有一个emr集群,有一个主节点和一个从节点。从属节点被配置为可以不受限制地访问开放的internet(我知道这是一个安全风险)。
当我用一个引导操作设置这个集群时 sudo yum -y update ,失败,表示引导操作在从属节点上失败(在主节点上总是成功)
但是,如果ssh进入从属节点并手动尝试执行 sudo yum -y update ,操作在5.5.0 emr包上成功。
我无法进一步调试为什么会发生这种情况,因为尽管据我所知,emr没有将任何日志复制到s3(日志复制最多是零星的),cloudwatch也没有从vpc获取任何日志,这使得调试这个问题非常模糊。
如有任何信息,我们将不胜感激。
编辑:我可以让我的cloudwatch专有网络日志工作(显然我的iam没有上传日志的信任关系),它显示了很多拒绝,而主节点似乎没有显示任何拒绝。这让我假设有一些自动配置正在进行,并阻止我正确下载yum软件包?

5f0d552i

5f0d552i1#

传统上,我会问一些晦涩难懂的问题,并设法自己解决这些问题,让我来分享我的缓解措施。
原来这是emr-5.5.0发布标签中的一个问题。降级到emr-5.3.0修复了我的脚本问题,现在脚本按预期正常执行。
在5.5.0中,执行脚本的时间/方式可能会发生变化。

相关问题