在nifi jsonrecordsetwriter的json记录前面加上一个字母

d7v8vwbk  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(416)

我对尼菲和Kafka还比较陌生,我已经为这个问题挣扎了几天。我有一个nifi数据流,它以json记录被发布到kafka主题为结束,使用publishkafkarecord2\u0处理器配置了jsonrecordsetwriter服务作为编写器。一切看起来都很好:消息被发布到kafka,发布后查看流文件中的记录看起来像格式良好的json。不过,在使用命令行上的消息时,我看到它们前面只有一个字母。尝试使用配置了jsonterereader的consumekafkarecord\u 2\u 0读取消息,当然可以在这里看到错误。
当我尝试了不同的方法时,字母发生了变化:先是“h”,然后是“f”(在上游配置jsonrecordsetwriter时,在发布到kafka之前),现在是“y”。
我不知道它是从哪里来的。我怀疑这是由jsonrecordsetwriter引起的,但不确定。我的配置为作家是在这里,没有什么看起来不寻常的我。
我尝试过通过创建不同的流进行调试。我认为问题可能出在我的avro架构上,并尝试替换它。我没什么好尝试的了,有人有什么想法吗?

cbjzeqam

cbjzeqam1#

由于您将“schema write strategy”设置为“confluent schema reference”,这就告诉编写器在消息内容的开头编写confluent schema id引用,因此您看到的很可能是该引用的字节。
如果您使用的是合流模式注册表,那么这是正确的行为,并且这些值需要存在,以便消费方确定要使用的模式。
如果在使用这些消息时没有使用合流模式注册表,只需选择其他模式写入策略之一。

相关问题