如何将**附件**(pdf、xls、xml..)发布到**Kafka主题中*

c86crjj0  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(466)

如何将附件(pdf、xls、xml、jpg..)发布到Kafka主题。目前我们正在以avro格式向Kafka发布。avro支持将文件附加到其中?

o8x7eapl

o8x7eapl1#

Kafka主题将信息保存为二进制数据。因此,为了将记录发送给Kafka,需要将它们序列化为二进制格式,并在从任何主题读取时反序列化为正确的格式。
avro使得这个操作简单,并且向前/向后兼容(配置和模式)。但我不认为avro支持将文件作为输入。kafka集群中可以使用多种格式。最好的方法是为您的用例创建一个定制的序列化程序/反序列化程序,序列化程序将读取数据并将其转换为二进制文件,反之亦然。并在插入/阅读特定主题时使用它。
另外,如果您将schema registry与avro一起使用,则不能将其与自定义序列化程序/反序列化程序一起使用。

相关问题