Kafka消息发布失败,对于随机有效的消息,如何解决这个问题?

ars1skjm  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(748)

我们在我们的应用程序中使用Kafka,我们发送了太多的消息,每条消息的大小都很小,我的意思是消息大小不是问题,如果您试图发布太多的消息到Kafka主题,而有些消息未能发布,他们是否有任何问题?

"Publishing error messages to kafka topic failed400 "

他们是否有Kafka配置,我们可以设置,以便我们可以克服这个问题?
注意:调用太多,我的意思是一个send方法调用,一条消息。
如前所述,每个消息都不是太大,下面给出了示例

{
    "error_details": [
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        },
        {
            "error_number": "123",
            "error_message": "how are you",
            "error_sequence": "12345"
        }

    ]
}

这是最大尺寸

kq0g1dla

kq0g1dla1#

你没有说你的信息有多大,但我会尝试增加linger.ms
linger.ms是生产者等待是否发送另一条消息的毫秒数。如果在该时间内发送了另一条消息,那么这两条消息将在一次调用中成批处理。这可能有助于你的处境。
batch.size设置提供一批消息的最大大小。即使延迟持续时间仍然有效,达到大于batch.size的组合消息大小也会立即发送批处理。
只是不要把linger.ms设置得太高。在达到持续时间结束之前,不会发送任何内容,当然,除非批处理的消息一起超过batch.size

相关问题