实际上，我的数据在teradata表中。我已经使用sqoop import命令将teradata表数据sqoop到配置单元中。但是，我的teradata表将每天获取数据。因此，需要将新添加的数据（即teradata中的增量数据）sqoop到hive表中。有谁能给我建议一些解决办法来实现这一点。。。
e0bqpujr1#
如果表中有与row id/timestamp类似的任意列，则可以使用： --incremental [mode] --last-value [value] --check-column [col] 如果为此保存了作业，则可以跳过 --last-value 因为它将被自动维护。 --incremental [mode] 有两种模式。 lastmodified 以及 append ，您可以根据自己的需要任意使用。
--incremental [mode] --last-value [value] --check-column [col]
--last-value
--incremental [mode]
lastmodified
append
1条答案
按热度按时间e0bqpujr1#
如果表中有与row id/timestamp类似的任意列，则可以使用：
--incremental [mode] --last-value [value] --check-column [col]如果为此保存了作业，则可以跳过--last-value因为它将被自动维护。--incremental [mode]有两种模式。lastmodified以及append，您可以根据自己的需要任意使用。