mysql 使用NIFI在增量获取中接收重复记录，

vc9ivgsu 于 2023-02-03 发布在 Mysql

关注(0)|答案(1)|浏览(242)

我正在设计一个工作流，以使用NIFI获取增量提取，源数据库和目标数据库均位于MySQL中。处理器为QueryDatabaseTable和splitAvro和convertAvroToJson和convertJsonToSQL以及PutSQL，如下图所示

和querydatabasetable的配置参数如下

现在，源数据库表只有200条记录，当我开始这个过程时，流正在重复接收相同的记录。
我已将最大值列设置为 createTime，即时间戳，其值为

2017-12-07 18:48:23

所有200张唱片。
我还用ID替换了maximum-value columns，但这也导致了同样的问题。是什么原因导致了这种重复摄取？

mysql

来源：https://stackoverflow.com/questions/47697393/duplicate-records-ingesting-in-incremental-fetch-using-nifi

1条答案

按热度按时间

vshtjzan1#

根据covertJSONtoSQL returning empty values in NiFi中@mattyb的建议，我将spiltAvro和convertAvroToJson和convertJsonToSQL和PutSQL替换为PutDatabaseRecord处理器，并且它与增量摄取一起工作。
流将如下所示，其中最大值列属性已设置为ID，time_stamp

赞(0）回复(0）举报 2023-02-03

我来回答

mysql 使用NIFI在增量获取中接收重复记录，

1条答案

相关问题

热门标签

最新问答