我有一个场景，每天从mysql数据库将数据摄取到hadoop中的一个过期文件夹中。每天将编辑很少的行，并且可能会有一些架构更改。如果我只对最新的数据和模式感兴趣，那么在hadoop中如何处理这个问题呢
j2qf4p5b1#
以下是sqoop中增量导入的文档。另外，在导入数据时，sqoop可以采用表名，因此如果模式发生更改，sqoop命令应该是相同的。bin/sqoop导入--连接jdbc:mysql：//localhost/bigdata—表小部件-m1
1条答案
按热度按时间j2qf4p5b1#
以下是sqoop中增量导入的文档。另外，在导入数据时，sqoop可以采用表名，因此如果模式发生更改，sqoop命令应该是相同的。
bin/sqoop导入--连接jdbc:mysql：//localhost/bigdata—表小部件-m1