如何在kafka中测量avro消息大小?

fcy6dtqo  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(355)

我有个制作人把avro唱片制作成Kafka主题。如何知道每条消息的大小(字节)?

vlju58qv

vlju58qv1#

这将有助于澄清你所说的消息大小是什么意思。当前消息大小被认为是记录批的大小,包括批元数据和单个记录:https://kafka.apache.org/documentation/#recordbatch
在将数据发送到kafka之前,生产者根据 batch.size 以及 linger.ms . 对数据进行批处理后,记录将根据需要进行压缩 compression.type 配置。这意味着,在批准备好发送之前,您将不知道确切的记录批大小。
如果您只对记录值大小的字节感兴趣,可以在消息序列化后检查字节数组大小。
要知道主题接收的字节数,可以在服务器端测量此度量: kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec 或检查 outgoing-byte-rate 生产商方面的公制单位。

相关问题