我想在apachekafka中压缩数据日志。我怎么知道该选哪一个？对我来说，性能和空间很重要。server.properties文件compression.type=snappy、gzip、lz4 vb。使用。
li9yvcax1#
有趣的是，uber在msgpack序列化消息中使用zlib。但是，您应该在自己的硬件、网络和存储上执行自己的基准测试（例如，这些数字是使用python库获得的）关于底层的序列化，avro通过模式注册表进行序列化允许您拥有比纯文本或json更严格的模式定义规则，并且avro通常与snappy压缩很好地匹配
1条答案
按热度按时间li9yvcax1#
有趣的是，uber在msgpack序列化消息中使用zlib。但是，您应该在自己的硬件、网络和存储上执行自己的基准测试（例如，这些数字是使用python库获得的）
关于底层的序列化，avro通过模式注册表进行序列化允许您拥有比纯文本或json更严格的模式定义规则，并且avro通常与snappy压缩很好地匹配