Kafka:消费者崩溃

sbdsn5lh  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(351)

我继承了一些Kafka代码,我正在实施到另一个项目中,遇到了一个问题。。。在使用者从生产者接收到3995条消息后,它崩溃并给出以下错误:

ERROR Error while accepting connection (kafka.network.Acceptor) 
java.io.IOException: Too many open files

Information about data being sent:
Very bursty around the time of crash
Always crashes at 3995

我在centos虚拟机上运行它,我轻松地运行了其他较小的数据集。谢谢你的时间!

1aaf6o9v

1aaf6o9v1#

“打开的文件太多”可以在linux中键入'lsof | wc-l'来知道打开了多少文件。
按照指南增加打开的文件数:
已达到最大文件数,如何解决此问题?许多应用程序(如oracle数据库或apacheweb服务器)需要更高的范围。因此,您可以通过在内核变量/proc/sys/fs/file max中设置一个新值来增加打开文件的最大数量,如下所示(以root用户身份登录): sysctl -w fs.file-max=100000

相关问题