使用kafka流，我们无法确定在处理完写入接收器主题的消息后压缩这些消息所需的配置。另一方面，使用经典的kafka producer，通过在kafkaproducer属性上设置“compression.type”配置可以轻松实现压缩然而，似乎没有任何文档化的例子让kafka流压缩处理过的消息。至于这个时候（2019年初），有没有一种方法可以使用压缩Kafka流呢？
fruv7luv1#
您可以在streamconfig中为内部使用的生产者指定参数，如下所示：
final Properties props = new Properties(); props.put(StreamsConfig.APPLICATION_ID_CONFIG, "your-streams-app-id"); props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "lz4");
输出主题将使用lz4算法进行压缩。看到了吗https://docs.confluent.io/current/streams/developer-guide/config-streams.html#kafka-有关详细信息，请参阅生产者和管理客户端配置参数。
1条答案
按热度按时间fruv7luv1#
您可以在streamconfig中为内部使用的生产者指定参数，如下所示：
输出主题将使用lz4算法进行压缩。
看到了吗https://docs.confluent.io/current/streams/developer-guide/config-streams.html#kafka-有关详细信息，请参阅生产者和管理客户端配置参数。