序列化—与提供模式验证的ApacheKakfa一起使用的数据交换格式

falq053o  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(378)

使用apachhe kafka的最佳消息格式是什么,以便生产者和消费者可以定义契约、验证数据以及序列化/反序列化数据?例如,在xml中我们有xsd。但是在json中没有通用的模式。。我读过关于使用ApacheAvro的文章,但不确定它的速度会有多快,因为我负担不起超过5到6毫秒的模式验证和反序列化时间?有什么意见吗?我们将每秒处理数千个事务,每个事务的sla是150毫秒,所以我正在寻找一些非常快的东西

lrpiutwd

lrpiutwd1#

avro经常被引用为慢(er),并且与其他二进制格式相比增加了开销,但是我相信这是用于不使用模式注册表的用例,其中模式从实际负载中排除。
或者,如果您绝对想要一个模式,您可以使用protobuf或thrift,但是,据我所见,我不认为这些格式的序列化程序是现成的。另外,如果没有提交到中心位置,则需要在客户机之间传递模式。
不过,我可以自信地说,avro应该可以很好地开始使用,注册中心绝对是有用的,而不仅仅是用于kafka用例。

相关问题