我继承了一些Kafka代码,我正在实施到另一个项目中,遇到了一个问题。。。在使用者从生产者接收到3995条消息后,它崩溃并给出以下错误:
ERROR Error while accepting connection (kafka.network.Acceptor)
java.io.IOException: Too many open files
Information about data being sent:
Very bursty around the time of crash
Always crashes at 3995
我在centos虚拟机上运行它,我轻松地运行了其他较小的数据集。谢谢你的时间!
1条答案
按热度按时间1aaf6o9v1#
“打开的文件太多”可以在linux中键入'lsof | wc-l'来知道打开了多少文件。
按照指南增加打开的文件数:
已达到最大文件数,如何解决此问题?许多应用程序(如oracle数据库或apacheweb服务器)需要更高的范围。因此,您可以通过在内核变量/proc/sys/fs/file max中设置一个新值来增加打开文件的最大数量,如下所示(以root用户身份登录):
sysctl -w fs.file-max=100000