使用hive在hdfs中插入数据

8oomwypt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(407)

假设有一个外部配置单元表指向hdfs目录中的csvs文件。
因此,使用配置单元在此表上插入新行时发生了什么:
插入会导致整个表的重写吗?
或者对数据所在的hdfs块进行整体重写?
或者只是在文件末尾附加新行?
更新操作也有同样的问题
提前谢谢!

gg0vcinb

gg0vcinb1#

回答您的问题时,认为您使用的是insert语句而不是insert语句 INSERT OVERWRITE 带着文件。
否,insert将用插入的数据创建一个新文件
不,只插入新文件
不会对现有文件进行任何附加
即使你使用 INSERT INTO 并插入一些文件,则这些新文件将出现并位于hdfs中的特定目录中,而不会影响现有文件。
如果您正在使用 INSERT OVERWRITE 给定表的目录中存在的所有文件都将被删除,新文件将放置在该目录中。

相关问题