clickhouse-kafka引擎是否可以使用jsoneachrow格式使用来自kafka主题的压缩json消息？它会自动解压缩消息，然后应用json解析吗？它需要特殊配置吗？编辑我的问题是，通过设置Kafka主题的压缩配置压缩主题是否会使clickhouse无法读取这些消息。
ggazkfy81#
是的，只要clickhouse客户端能够理解kafka主题压缩。例如，早期版本不能理解zstandard压缩，但是他们可以理解snappy。不管是json还是其他什么，这取决于指定的解析方法。如果这些消息本身是压缩的（尽管是冗余的），那么它们就不会被正确解析，正如@amos所说的那样。
qoefvg9y2#
Kafka 引擎按原样消耗消息-不多也不少。它几乎与从本机文件读取相同，只是消息边界可能需要特殊处理。clickhouse不支持读取本机序列化块以外的压缩数据文件。所以答案是否定的，它不能使用压缩的json消息。
Kafka
2条答案
按热度按时间ggazkfy81#
是的，只要clickhouse客户端能够理解kafka主题压缩。例如，早期版本不能理解zstandard压缩，但是他们可以理解snappy。不管是json还是其他什么，这取决于指定的解析方法。如果这些消息本身是压缩的（尽管是冗余的），那么它们就不会被正确解析，正如@amos所说的那样。
qoefvg9y2#
Kafka引擎按原样消耗消息-不多也不少。它几乎与从本机文件读取相同，只是消息边界可能需要特殊处理。clickhouse不支持读取本机序列化块以外的压缩数据文件。所以答案是否定的，它不能使用压缩的json消息。