主题Map错误kafka connect mongo源连接器

toiithl6  于 2021-06-05  发布在  Kafka
关注(0)|答案(0)|浏览(248)

使用kafka mongo源连接器时,我们遇到了一个奇怪的错误。此配置..:

{
   "name": "mongo-src",
   "config": {
       "tasks.max":1
      "connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
      "key.converter":"org.apache.kafka.connect.storage.StringConverter",
      "value.converter":"org.apache.kafka.connect.storage.StringConverter",
      "connection.uri":[THE CONNECTION URL]
      "database":"foo",
      "collection":"bar"
      "pipeline":"[{\"$match\": { \"$or\": [ {\"operationType\": \"insert\"}, {\"operationType\": \"replace\"}]}}]",
      "topic.prefix": "my.prefix"
  }
}

..导致以下错误:

[2020-06-29 03:51:48,923] WARN [mongo-src|task-0] [Producer clientId=connector-producer-mongo-src-0] Error while fetching metadata with correlation id 2341 : {my.prefix.5eb208a381fe801e314ee9bd_foo.bar=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1063)

它并不总是发生。有时会寻找正确的主题。其他时候两个都要找。然后连接器工作,而另一个内部生产者试图连接到不存在的主题。
令人沮丧的是,尽管删除(连接器)连接器的错误生产者不断尝试,导致污染Kafka连接日志文件。只有重新启动集群节点才能解决此问题。
这种行为听上去熟悉吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题