我遇到了内存问题，因此我查找了如下参数的默认值：
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts在amazon文档上，并计算出默认值很低。因此，我在创建emr集群时添加了一个配置，如下所示：
classification=mapred-site,properties=[mapreduce.map.memory.mb=4096,mapreduce.reduce.memory.mb=4096,mapreduce.map.java.opts=-Xmx3072m]并创建了集群。现在，如何检查这些值是否确实已更新？
1条答案
按热度按时间vngu2lb81#
您可以按照以下任一方法查找mapreduce配置详细信息。
方法1：
登录emr的ec2示例
转到mapreduce配置路径（通常是/etc/hadoop/conf）
打开mapred-site.xml并搜索您的属性。
方法2：
转到jobhistory ui（通常http://history-server-hostname：19888/工作历史）
遍历到工具->配置
方法3：
希望您也能从amazonemr控制台看到您的所有分类。