我使用的是apachenifi，当试图让kafka获取一个大约30mb的文本文件时，putkafka处理器拒绝获取从getfile处理器发送的数据。
这是我的putkafka处理器的配置：
下面是我尝试将文件传送到putkafka处理器时发生的情况：
我尝试过在putkafka处理器中更改一些值，但没有效果。当发送一个非常小的文本文件时，同样的设置是成功的，但是它没有被管道分隔。
谢谢
我使用的是apachenifi，当试图让kafka获取一个大约30mb的文本文件时，putkafka处理器拒绝获取从getfile处理器发送的数据。
这是我的putkafka处理器的配置：
下面是我尝试将文件传送到putkafka处理器时发生的情况：
我尝试过在putkafka处理器中更改一些值，但没有效果。当发送一个非常小的文本文件时，同样的设置是成功的，但是它没有被管道分隔。
谢谢
1条答案
按热度按时间r55awzrz1#
请你看一下日志，看看那里是否有相关的堆栈痕迹，然后粘贴到这里。我的怀疑是，你超过了最大缓冲区大小和Kafka本身失败，所以消息永远达不到主题。例如，虽然您似乎要覆盖“max.request.size”，但“buffer.memory”远小于您的请求大小。无论如何，堆栈跟踪都会有所帮助。