我有一个小型hadoopcluster8节点,运行原生hadoop1.0.2。不同节点上的nn和snn。节点本身是具有20+千兆字节内存的增强节点。我在datanodes日志中反复看到dataceiver错误(与Hive和Pig一起使用)
我知道这可能是因为hdfs-site.xml中的设置,我已经将其设置为4096,如下所示:
<property><name>dfs.datanode.max.xcievers</name><value>4096</value></property>
另外,对于hdfs用户,我已经将ulimit设置为与上面相同的值。但我还是得到了错误
2014-02-22 00:40:36,021 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.22.96.9:50010, storageID=DS-1389939194-10.22.96.9-50010-1345070063427, infoPort=50075,\
ipcPort=50020):Got exception while serving blk_-1430839469926724904_1952628 to /10.22.96.9:
java.io.IOException: Block blk_-1430839469926724904_1952628 is not valid.
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getBlockFile(FSDataset.java:1072)
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getLength(FSDataset.java:1035)
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getVisibleLength(FSDataset.java:1045)
at org.apache.hadoop.hdfs.server.datanode.BlockSender.<init>(BlockSender.java:94)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:189)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:99)
at java.lang.Thread.run(Thread.java:662)
2014-02-22 00:40:36,021 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(10.22.96.9:50010, storageID=DS-1389939194-10.22.96.9-50010-1345070063427, infoPort=50075\
, ipcPort=50020):DataXceiver
java.io.IOException: Block blk_-1430839469926724904_1952628 is not valid.
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getBlockFile(FSDataset.java:1072)
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getLength(FSDataset.java:1035)
at org.apache.hadoop.hdfs.server.datanode.FSDataset.getVisibleLength(FSDataset.java:1045)
at org.apache.hadoop.hdfs.server.datanode.BlockSender.<init>(BlockSender.java:94)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.readBlock(DataXceiver.java:189)
at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:99)
at java.lang.Thread.run(Thread.java:662)
任何关于这件事的一次又一次的暗示或解释都会对我更好地理解这个问题很有帮助。或者我如何调试此问题以从根本上解决此问题,或者至少能够向提出以下问题的人解释:)
谢谢你看,-阿图尔
暂无答案!
目前还没有任何答案,快来回答吧!