如果我在avro中使用压缩,那么在kafka中启用主题压缩有意义吗?

ljsrvy3e  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(428)

在kafka中,您可以在producer上设置属性来压缩键和值。 compression.codec 此参数允许您为此生产者生成的所有数据指定压缩编解码器。有效值为“none”、“gzip”和“snappy”。
http://kafka.apache.org/documentation.html#producerconfigs
当使用汇合平台时,我可以使用 KafkaAvroSerialization 序列化程序。如果我定义 avro.codec 使用Kafka的压缩有什么意义吗?反之亦然? avro.codec 用于压缩块的压缩编解码器的名称,以字符串形式。实现需要支持以下编解码器:“null”和“deflate”。如果没有编解码器,则假定为“空”。下面将详细介绍这些编解码器。
https://avro.apache.org/docs/1.7.7/spec.html#object+容器+文件

unguejic

unguejic1#

虽然kafkaavroserialization允许您使用avro,但在这样做时,您实际上不能使用avro.codec。
为什么?因为avro.codec由avro的datafilewriter使用,而在kafkaavroserialization中没有使用(它直接使用datumwriter生成byte[]记录,而不是文件)。
所以你只能得到非压缩的记录,应该在producer中设置压缩编码解码器。这也意味着生产者有机会压缩包含多条消息的缓冲区,从而提高压缩效率。

相关问题