如何将附件(pdf、xls、xml、jpg..)发布到Kafka主题。目前我们正在以avro格式向Kafka发布。avro支持将文件附加到其中?
o8x7eapl1#
Kafka主题将信息保存为二进制数据。因此,为了将记录发送给Kafka,需要将它们序列化为二进制格式,并在从任何主题读取时反序列化为正确的格式。avro使得这个操作简单,并且向前/向后兼容(配置和模式)。但我不认为avro支持将文件作为输入。kafka集群中可以使用多种格式。最好的方法是为您的用例创建一个定制的序列化程序/反序列化程序,序列化程序将读取数据并将其转换为二进制文件,反之亦然。并在插入/阅读特定主题时使用它。另外,如果您将schema registry与avro一起使用,则不能将其与自定义序列化程序/反序列化程序一起使用。
1条答案
按热度按时间o8x7eapl1#
Kafka主题将信息保存为二进制数据。因此,为了将记录发送给Kafka,需要将它们序列化为二进制格式,并在从任何主题读取时反序列化为正确的格式。
avro使得这个操作简单,并且向前/向后兼容(配置和模式)。但我不认为avro支持将文件作为输入。kafka集群中可以使用多种格式。最好的方法是为您的用例创建一个定制的序列化程序/反序列化程序,序列化程序将读取数据并将其转换为二进制文件,反之亦然。并在插入/阅读特定主题时使用它。
另外,如果您将schema registry与avro一起使用,则不能将其与自定义序列化程序/反序列化程序一起使用。