如何在sqoop的增量导入中导入固定数量的行？

fgw7neuy 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(340)

我正在自学sqoop，并尝试使用下面提到的代码在本地测试增量导入功能

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 1000' \
-m 1 \
--incremental append \
--check-column emp_no \
--target-dir sqoop/import_data/employee_db_import_incremental

上面的脚本导入了前1000条记录，现在我想将下1000条记录附加到现有数据中。怎么做？

hadoop mysql mapreduce sqoop

来源：https://stackoverflow.com/questions/53273007/how-to-import-a-fixed-number-of-rows-in-incremental-import-in-sqoop

1条答案

按热度按时间

kninwzqo1#

您必须指定最后一个值，假设您的最后一个记录是 1000 那么您的命令必须如下所示：

sqoop import \
--connect jdbc:mysql://localhost/employees \
--username root \
-P \
--query 'select * from employees WHERE $CONDITIONS ORDER BY emp_no LIMIT 2000' 
\
-m 1 \
--incremental append \
--check-column emp_no \
--last-value 1000
--target-dir sqoop/import_data/employee_db_import_incremental

赞(0）回复(0）举报 2021-06-02

我来回答

如何在sqoop的增量导入中导入固定数量的行？

1条答案

相关问题

热门标签

最新问答