我有一个表department\u id,department\u name,lastmodifieddate;
当我像下面这样运行命令时
sqoop export \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
--username sqoopuser \
--password NHkkP876rp \
--table dep_prasad \
--input-fields-terminated-by '|' \
--input-lines-terminated-by '\n' \
--export-dir /user/venkateswarlujvs2821/dep_prasad/ \
--num-mappers 2 \
--outdir /user/venkateswarlujvs2821/dep_prasad
它工作正常,正在插入记录
当我修改hdfs中的文件并添加更多的记录时,当我尝试导出它时,它将重复的条目插入到我的sql中,我第二次使用下面的sqoop命令。
sqoop export \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
--username sqoopuser \
--password NHkkP876rp \
--table dep_prasad \
--input-fields-terminated-by '|' \
--input-lines-terminated-by '\n' \
--update-key department_id \
--update-mode allowinsert \
--export-dir /user/venkateswarlujvs2821/dep_prasad/ \
--num-mappers 2 \
--outdir /user/venkateswarlujvs2821/dep_prasad
note:my table 没有主键
我只想更新新的记录怎么做?
暂无答案!
目前还没有任何答案,快来回答吧!