我正在阅读Salesforce的数据，使用pyspark SQL和ADF管道执行增量upsert.我想在upsert发生时验证源和目标之间的数据如何实现？
8e2ybdfx1#
要验证rowcount，如果使用copy activity，可以从json输出中获取rowsRead和rowsCopied属性：https://www.appsloveworld.com/azure-data-factory/5/get-count-of-records-in-source-and-sink-in-azure-data-factory要检查插入的记录数，可以从源获取增量记录，并编写一个存储过程来取出其主键尚未出现在接收器表中的记录数。这将给予将要新插入的记录的计数。类似地，要检查更新的记录数，您可以从源获取增量记录，并编写一个存储过程来取出其主键已经存在于接收器表中的记录数。这将给予要更新的记录的计数。
1条答案
按热度按时间8e2ybdfx1#
要验证rowcount，如果使用copy activity，可以从json输出中获取rowsRead和rowsCopied属性：https://www.appsloveworld.com/azure-data-factory/5/get-count-of-records-in-source-and-sink-in-azure-data-factory
要检查插入的记录数，可以从源获取增量记录，并编写一个存储过程来取出其主键尚未出现在接收器表中的记录数。这将给予将要新插入的记录的计数。
类似地，要检查更新的记录数，您可以从源获取增量记录，并编写一个存储过程来取出其主键已经存在于接收器表中的记录数。这将给予要更新的记录的计数。