我正在阅读Salesforce的数据,使用pyspark SQL和ADF管道执行增量upsert.我想在upsert发生时验证源和目标之间的数据如何实现?
8e2ybdfx1#
要验证rowcount,如果使用copy activity,可以从json输出中获取rowsRead和rowsCopied属性:https://www.appsloveworld.com/azure-data-factory/5/get-count-of-records-in-source-and-sink-in-azure-data-factory要检查插入的记录数,可以从源获取增量记录,并编写一个存储过程来取出其主键尚未出现在接收器表中的记录数。这将给予将要新插入的记录的计数。类似地,要检查更新的记录数,您可以从源获取增量记录,并编写一个存储过程来取出其主键已经存在于接收器表中的记录数。这将给予要更新的记录的计数。
1条答案
按热度按时间8e2ybdfx1#
要验证rowcount,如果使用copy activity,可以从json输出中获取rowsRead和rowsCopied属性:https://www.appsloveworld.com/azure-data-factory/5/get-count-of-records-in-source-and-sink-in-azure-data-factory
要检查插入的记录数,可以从源获取增量记录,并编写一个存储过程来取出其主键尚未出现在接收器表中的记录数。这将给予将要新插入的记录的计数。
类似地,要检查更新的记录数,您可以从源获取增量记录,并编写一个存储过程来取出其主键已经存在于接收器表中的记录数。这将给予要更新的记录的计数。