使用apachhe kafka的最佳消息格式是什么,以便生产者和消费者可以定义契约、验证数据以及序列化/反序列化数据?例如,在xml中我们有xsd。但是在json中没有通用的模式。。我读过关于使用ApacheAvro的文章,但不确定它的速度会有多快,因为我负担不起超过5到6毫秒的模式验证和反序列化时间?有什么意见吗?我们将每秒处理数千个事务,每个事务的sla是150毫秒,所以我正在寻找一些非常快的东西
使用apachhe kafka的最佳消息格式是什么,以便生产者和消费者可以定义契约、验证数据以及序列化/反序列化数据?例如,在xml中我们有xsd。但是在json中没有通用的模式。。我读过关于使用ApacheAvro的文章,但不确定它的速度会有多快,因为我负担不起超过5到6毫秒的模式验证和反序列化时间?有什么意见吗?我们将每秒处理数千个事务,每个事务的sla是150毫秒,所以我正在寻找一些非常快的东西
1条答案
按热度按时间lrpiutwd1#
avro经常被引用为慢(er),并且与其他二进制格式相比增加了开销,但是我相信这是用于不使用模式注册表的用例,其中模式从实际负载中排除。
或者,如果您绝对想要一个模式,您可以使用protobuf或thrift,但是,据我所见,我不认为这些格式的序列化程序是现成的。另外,如果没有提交到中心位置,则需要在客户机之间传递模式。
不过,我可以自信地说,avro应该可以很好地开始使用,注册中心绝对是有用的,而不仅仅是用于kafka用例。