我是全新的亚马逊弹性mapreduce。我有一个需求，我想使用我的定制调度器，它是基于hadoop容量调度器实现的，来调度amazonelasticmapreduce中的作业。
根据我目前的理解，要实现这一点，我只能在作业流中定义一个阶段，并通过ssh连接将我的自定义jar文件提交到主节点。但是，我找不到如何编辑xml配置文件，如主节点中的capacity-scheduler.xml。有人知道怎么做吗？
此外，如果我想在其上添加动态调整大小属性，那么当作业当前正在运行时，是否可以动态调整集群中任务节点的数量？或者在每个阶段，集群的大小应该保持不变？非常感谢。
1条答案
按热度按时间prdp8dxp1#
您应该使用引导操作来更改hadoop配置。
以下aws文档可用于hadoop配置引导操作。
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/emr-plan-bootstrap.html#predefinedbootstrapactions_configurehadoop
我的这篇博客文章也有一些信息。http://sujee.net/tech/articles/hadoop/amazon-emr-beyond-basics/
要动态更改集群大小，一个选项是使用awssdk。
http://docs.aws.amazon.com/elasticmapreduce/latest/developerguide/calling-emr-with-java-sdk.html
使用以下界面可以修改示例组的示例数。http://docs.aws.amazon.com/awsjavasdk/latest/javadoc/com/amazonaws/services/elasticmapreduce/amazonelasticmapreduce.html