sqoop导出在表中有重复的条目,但没有主键

nom7f22z  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(188)

我有一个表department\u id,department\u name,lastmodifieddate;
当我像下面这样运行命令时

sqoop export  \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
 --username sqoopuser \
 --password NHkkP876rp \
 --table dep_prasad \
 --input-fields-terminated-by '|' \
 --input-lines-terminated-by '\n' \
 --export-dir /user/venkateswarlujvs2821/dep_prasad/ \
 --num-mappers 2 \
 --outdir /user/venkateswarlujvs2821/dep_prasad

它工作正常,正在插入记录
当我修改hdfs中的文件并添加更多的记录时,当我尝试导出它时,它将重复的条目插入到我的sql中,我第二次使用下面的sqoop命令。

sqoop export  \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
 --username sqoopuser \
 --password NHkkP876rp \
 --table dep_prasad \
 --input-fields-terminated-by '|' \
 --input-lines-terminated-by '\n' \
 --update-key department_id \
 --update-mode allowinsert \
 --export-dir /user/venkateswarlujvs2821/dep_prasad/ \
 --num-mappers 2 \
 --outdir /user/venkateswarlujvs2821/dep_prasad

note:my table 没有主键
我只想更新新的记录怎么做?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题