我们在我们的应用程序中使用Kafka,我们发送了太多的消息,每条消息的大小都很小,我的意思是消息大小不是问题,如果您试图发布太多的消息到Kafka主题,而有些消息未能发布,他们是否有任何问题?
"Publishing error messages to kafka topic failed400 "
他们是否有Kafka配置,我们可以设置,以便我们可以克服这个问题?
注意:调用太多,我的意思是一个send方法调用,一条消息。
如前所述,每个消息都不是太大,下面给出了示例
{
"error_details": [
{
"error_number": "123",
"error_message": "how are you",
"error_sequence": "12345"
},
{
"error_number": "123",
"error_message": "how are you",
"error_sequence": "12345"
},
{
"error_number": "123",
"error_message": "how are you",
"error_sequence": "12345"
},
{
"error_number": "123",
"error_message": "how are you",
"error_sequence": "12345"
}
]
}
这是最大尺寸
1条答案
按热度按时间kq0g1dla1#
你没有说你的信息有多大,但我会尝试增加linger.ms
linger.ms是生产者等待是否发送另一条消息的毫秒数。如果在该时间内发送了另一条消息,那么这两条消息将在一次调用中成批处理。这可能有助于你的处境。
batch.size设置提供一批消息的最大大小。即使延迟持续时间仍然有效,达到大于batch.size的组合消息大小也会立即发送批处理。
只是不要把linger.ms设置得太高。在达到持续时间结束之前,不会发送任何内容,当然,除非批处理的消息一起超过batch.size