我正在尝试为Kafka添加新的存储空间，以下是我已经做的：
在linux操作系统下添加、准备和装载存储
在kafka代理中添加新存储：log.dirs:/data0/kafka logs，/data1/kafka logs
重启Kafka经纪公司
已在/data1/kafka logs下创建新目录，但大小为：
du-csh/data1/kafka日志/156k/data1/kafka日志/
而且大小不仅在增长，而且只使用了旧的/data0。
我错过了什么？我应该做些什么来解决这个问题？存储空间几乎已满，/data1仍然没有使用。
2条答案
按热度按时间w51jfk4q1#
为Kafka添加新的数据存储路径时，旧数据不会在该光盘上自动开始重新平衡。例如，在创建新主题或增加现有分区中的分区数时，将使用新存储。
在这种情况下，如果需要将某些数据移动到新磁盘，则需要使用手动数据重新平衡。有关详细信息，请参阅：https://cwiki.apache.org/confluence/display/kafka/replication+tools
在您的情况下，为了防止磁盘空间完全耗尽，您可以在一段时间内缩短主题（retention.ms）的生存期，否则代理将失败。
fjnneemd2#
我只能猜测-但对我来说，这听起来像你没有创建一个新的主题或增加分区的数量，你当前的主题（s）。kafka不会将现有分区移动到新的log.dir中。根据Kafka文献：
... 创建的每个新分区都将放在当前分区最少的目录中。-https://kafka.apache.org/08/configuration.html