sqoop import --connect \\ jdbc:mysql://localhost:3306/ydb --table yloc --username root -P --check-column rank --incremental append --last-value
我们不知道上一个表的最后一个值。如何编写查询？
m1m5dgzv1#
去你的pwdcd.sqoop光盘使用vi或fav编辑器打开文件metastore.db.script。搜索incremental.last.value应该是这样的
INSERT INTO SQOOP_SESSIONS VALUES('incimpjob','incremental.last.value','2018-09-11 19:20:52.0','SqoopOptions')
注意：我假设您已经创建了一个sqoop作业。“incimpjob”是我的sqoop工作的名称。
xriantvc2#
你可以尝试两种方法来解决这个问题。查询到表中并获取最后一列值的最大值。在sqoop中创建一个job，并将列设置为incremental one，然后继续，您的job将以incremental为基础运行
2条答案
按热度按时间m1m5dgzv1#
去你的pwd
cd.sqoop光盘
使用vi或fav编辑器打开文件metastore.db.script。
搜索incremental.last.value
应该是这样的
注意：我假设您已经创建了一个sqoop作业。“incimpjob”是我的sqoop工作的名称。
xriantvc2#
你可以尝试两种方法来解决这个问题。
查询到表中并获取最后一列值的最大值。
在sqoop中创建一个job，并将列设置为incremental one，然后继续，您的job将以incremental为基础运行