我在一个2 datanode hadoop集群上运行k-means作业。当输入数据足够大（1.5gb）时，我会得到以下错误：有2个数据节点正在运行，并且在此操作中没有排除任何节点，并且在此操作中排除了2个数据节点。该操作正在写入一个文件，如我还收到的消息所示：文件只能写入1个复制节点中的0个。为什么要从这个操作中排除任何datanode？是因为他们忙于其他工作吗？在那种情况下，我该如何解决这个问题？
vwhgwdsa1#
在k-means作业期间，datanodes上的磁盘空间似乎用完了。这就是导致节点被排除在文件写入之外的原因。似乎还有足够的空间，但是节点已经被排除在磁盘空间使用率为90%的情况下。简而言之：磁盘空间不足会将节点排除在文件写入操作之外。
1条答案
按热度按时间vwhgwdsa1#
在k-means作业期间，datanodes上的磁盘空间似乎用完了。这就是导致节点被排除在文件写入之外的原因。似乎还有足够的空间，但是节点已经被排除在磁盘空间使用率为90%的情况下。
简而言之：磁盘空间不足会将节点排除在文件写入操作之外。