sqoop append命令在hadoop中如何工作

tuwxkamq  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(394)

我有一个关于sqoop的问题——append命令,我们知道append命令会向现有的表或记录添加一个值,但是在hadoop或hdfs中update选项是被禁止的,它是如何工作的?

qvk1mo1f

qvk1mo1f1#

在hadoop中,我们还提供了使用“-appendtofile”命令更新文件的功能,在那里它会将数据附加到现有数据中,但文件名会有所不同。

bhmjp9jg

bhmjp9jg2#

从文件来看,
默认情况下,导入将转到新的目标位置。如果目标目录已经存在于hdfs中,sqoop将拒绝导入并覆盖该目录的内容。如果使用--append参数,sqoop会将数据导入临时目录,然后以与该目录中现有文件名不冲突的方式将文件重命名为普通目标目录。

相关问题