当我打开jobtrackerhost:50030/jobtracker.jsp我可以看到堆大小,如:cluster summary(堆大小为1.17 gb/7.99 gb)它还在继续增加。3-5天后生长至高峰。我们有两个hadoop集群。在集群a上,堆大小在峰值附近停止增加。在集群b上,堆大小继续增加,3-5天后,jobtracker停止过程结束了)现在我真想知道为什么堆的大小继续增加?是正常还是有问题?谢谢,新松
rseugnpd1#
@vefthym,我认为mapred-site.xml文件不完整,因为hadoop集群是由cloudera管理器管理的。以下是mapred-site.xml中的内容
<?xml version="1.0" encoding="UTF-8"?> <!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z--> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://xxxx.com:8020</value> </property> <property> <name>io.file.buffer.size</name> <value>65536</value> </property> <property> <name>io.compression.codecs</name> <value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value> </property> <property> <name>hadoop.security.authentication</name> <value>simple</value> </property> <property> <name>hadoop.rpc.protection</name> <value>authentication</value> </property> <property> <name>hadoop.security.auth_to_local</name> <value>DEFAULT</value> </property> </configuration>
1条答案
按热度按时间rseugnpd1#
@vefthym,我认为mapred-site.xml文件不完整,因为hadoop集群是由cloudera管理器管理的。
以下是mapred-site.xml中的内容