我目前正在编写一个框架来将配置单元表传输到aws。我们不能一蹴而就。我们需要在一段时间内解决这个问题。所以有很多表需要与aws和premhadoop同步。
table很小，需要支撑和装载不是问题。我们有一个framework，每天使用spark框架刷新表。
问题是对于大型表，我们只需要向aws追加新添加/更新/删除的行。找到一个新添加的是相当简单的任务。但是如何更新或删除记录。
40%的表是转换表。所以更新和删除是频繁的。
对于其他60%的表，更新/删除并不频繁。然而，有时由于数据问题，人们会删除过去的批并重新加载数据。
我的问题是
有没有办法获取配置单元表的更改数据捕获？如何确定在transnational表中更新/删除了哪些记录？如何确定在外部表中更新/删除了哪些记录？