我能用Kafka流读写不同类型的信息吗?

2fjabf4q  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(269)

我正在写一个应用程序,使用Kafka流。它读取主题a,进行一些转换,然后写入主题b。在转换过程中,值按键分组,因此输出键、值类型与输入值类型不同。kafka流使用特定类型的serdes(例如string serdes序列化和反序列化字符串)进行序列化和反序列化,因此在转换数据后它将不起作用。如何在streams api中定义不同的序列化程序和反序列化程序?

gab6jxml

gab6jxml1#

当然可以
当您创建流、调用groupby或将输出写入某个主题时,您可以提供 Serde 或者 Serialized . 例子:

Serde<String> stringSerde = Serdes.String();
Consumed<String, String> consumed = Consumed.with(stringSerde, stringSerde);
Produced<String, YourCustomItem> produced = Produced.with(stringSerde, new JsonSerde<>(YourCustomItem.class));

KStream<String, String> kStream = streamsBuilder.stream("sourceTopicName", consumed);
KStream<String, YourCustomItem> transformedKStream = kStream.mapValues((key, value) -> new YourCustomItem());
transformedKStream.to("destinationTopicName", produced);

transformedKStream.groupByKey(Serialized.with(Serdes.String(), new JsonSerde<>(YourCustomItem.class)));

哪里 JsonSerde 来自 spring-kafka 附属国。或者你可以用下面的 Serde :

Serializer<JsonNode> jsonSerializer = new JsonSerializer();
Deserializer<JsonNode> jsonDeserializer = new JsonDeserializer();
Serde<JsonNode> jsonSerde = Serdes.serdeFrom(jsonSerializer, jsonDeserializer);

相关问题