通过sqoop将数据从sqlserver导入配置单元的最佳实践

oprakyz7  于 2021-06-26  发布在  Hive
关注(0)|答案(0)|浏览(268)

我们正致力于通过sqoop将数据从mssqlserver导入hive。如果我们使用incremental&append模式(这是必需的),那么我们需要指定上次插入的行id的--last值。
我要把大约100个表更新到hive中。
保存所有表的行id值并在sqoop--last value命令中指定的做法是什么?
为什么sqoop本身不检查源表和目标表的行id,最后更新目标表最后一行id值之前的行?
如果我为一个配置单元表中的所有表保存行id的最后一个值,并希望在sqoop作业中使用这些值,那么怎么可能呢?
总之,我希望自动化数据导入作业,这样就不必为每天的每个表数据导入手动提供值
有什么建议吗?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题