kafka流损坏了消息处理语义

j1dl9f46  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(371)

我注意到kafka记录有一个crc字段。如果日志文件中的记录损坏(例如,消息中间的一个位被翻转),在以下情况下,我希望在streams应用程序中看到什么:
主题已复制
主题未复制
由于我们使用的是avro,我可以想象以下情况之一:
底层基础结构检测crc错误并从另一个代理中获取它
反序列化异常处理程序启动
根据策略,还发生了其他一些错误,拓扑结构被覆盖或消息被跳过

rdlzhqv9

rdlzhqv91#

对于crc错误,当streams应用程序尝试反序列化记录时,应该在其中抛出异常。因此 DeserializationExceptionHandler 开始了。
在kafka中,所有的读/写操作都由分区负责人处理,而follower代理只在后台被动地复制数据,不服务于来自客户机的任何读/写操作。

相关问题