sqoop增量导入后配置单元表过期

blmhpbnm  于 2021-06-03  发布在  Sqoop
关注(0)|答案(1)|浏览(311)

我正在尝试使用“--incremental append”向配置单元表进行sqoop增量导入。
我做了一个初始的sqoop导入,然后为增量导入创建了一个作业。两者都成功地执行了,并且新文件被添加到hdfs中相同的原始配置单元表目录中,但是当我检查配置单元表时,导入的观察结果不在那里。配置单元表在sqoop增量导入之前是相等的。
我怎样才能解决这个问题?我有大约45个配置单元表,希望在sqoop增量导入之后每天自动更新它们。
第一个sqoop导入:

sqoop import \
--connect jdbc:db2://... \
--username root \
-password 9999999 \
--class-name db2fcs_cust_atu \
--query "SELECT * FROM db2fcs.cust_atu WHERE \$CONDITIONS" \
--split-by PTC_NR  \
--fetch-size 10000 \
--delete-target-dir \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-import \
--hive-table fcs.cust_atu \
-m 64;

然后我运行sqoop incremental import:

sqoop job \
-create cli_atu \
--import \
--connect jdbc:db2://... \
--username root \
--password 9999999 \
--table db2fcs.cust_atu \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-table fcs.cust_atu \
--split-by PTC_NR \
--incremental append \
--check-column TS_CUST \
--last-value '2018-09-09'
l0oc07j2

l0oc07j21#

如果不查看完整的查询,可能很难理解/回答您的问题,因为您的结果还取决于您对参数和目录的选择。介意分享你的疑问吗?

相关问题