elasticsearchsinkconnector无法将数据反序列化到avro

bxgwgixi 于 2021-06-06 发布在 Kafka

关注(0)|答案(2)|浏览(446)

我创建了最简单的kafka接收器连接器配置，并使用confluent 4.1.0：

{
  "connector.class": 
  "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
  "type.name": "test-type",
  "tasks.max": "1",
  "topics": "dialogs",
  "name": "elasticsearch-sink",
  "key.ignore": "true",
  "connection.url": "http://localhost:9200",
  "schema.ignore": "true"
}

在主题中，我用json保存消息

{ "topics": "resd"}

但结果我得到了一个错误：
原因：org.apache.kafka.common.errors.serializationexception:反序列化id-1的avro消息时出错原因：org.apache.kafka.common.errors.serializationexception:未知的魔法字节！

apache-kafka apache-kafka-connect confluent-platform

来源：https://stackoverflow.com/questions/50182754/elasticsearchsinkconnector-failed-to-deserialize-data-to-avro

2条答案

按热度按时间

niknxzdl1#

发生此错误是因为它试图读取非汇合模式注册表编码的avro消息。
如果主题数据是avro，则需要使用schema注册表。
否则，如果topic数据是json，那么您已经在属性文件的键或值上启动了带有avroconverter的connect集群，您需要使用jsonconverter

赞(0）回复(0）举报 2021-06-07

7hiiyaii2#

正如cricket\u007所说，如果数据采用的是json反序列化格式，那么需要告诉connect使用json反序列化程序。将此添加到连接器配置中：

"value.converter": "org.apache.kafka.connect.json.JsonConverter",
"value.converter.schemas.enable": "false",
"key.converter": "org.apache.kafka.connect.json.JsonConverter",
"key.converter.schemas.enable": "false"

赞(0）回复(0）举报 2021-06-07

我来回答

elasticsearchsinkconnector无法将数据反序列化到avro

2条答案

相关问题

热门标签

最新问答