使用kafka mongo源连接器时,我们遇到了一个奇怪的错误。此配置..:
{
"name": "mongo-src",
"config": {
"tasks.max":1
"connector.class":"com.mongodb.kafka.connect.MongoSourceConnector",
"key.converter":"org.apache.kafka.connect.storage.StringConverter",
"value.converter":"org.apache.kafka.connect.storage.StringConverter",
"connection.uri":[THE CONNECTION URL]
"database":"foo",
"collection":"bar"
"pipeline":"[{\"$match\": { \"$or\": [ {\"operationType\": \"insert\"}, {\"operationType\": \"replace\"}]}}]",
"topic.prefix": "my.prefix"
}
}
..导致以下错误:
[2020-06-29 03:51:48,923] WARN [mongo-src|task-0] [Producer clientId=connector-producer-mongo-src-0] Error while fetching metadata with correlation id 2341 : {my.prefix.5eb208a381fe801e314ee9bd_foo.bar=UNKNOWN_TOPIC_OR_PARTITION} (org.apache.kafka.clients.NetworkClient:1063)
它并不总是发生。有时会寻找正确的主题。其他时候两个都要找。然后连接器工作,而另一个内部生产者试图连接到不存在的主题。
令人沮丧的是,尽管删除(连接器)连接器的错误生产者不断尝试,导致污染Kafka连接日志文件。只有重新启动集群节点才能解决此问题。
这种行为听上去熟悉吗?
暂无答案!
目前还没有任何答案,快来回答吧!