hdfs—由于覆盖到配置单元管理的表而丢失的文件

flmtquvp  于 2021-06-26  发布在  Hive
关注(0)|答案(2)|浏览(282)

我正在使用hadoop2.7.3和hive2.1.1。
我在hdfs中有一些8-9文件。我创建了一个内部Hive表。我加载了那张表中8个文件中的第一个。对那个数据做了些操作。
在那之后,我通过覆盖到那个表中来加载第二个文件。

load data inpath '/path/path1/first.csv' into table ABC;

load data inpath '/path/path1/second.csv' overwrite into table ABC;

对第二个数据做了一些操作。
然后我使用“overwrite into”加载第三个文件,依此类推直到最后一个文件。
现在,我看到所有这些文件都不在原来的位置。另外,在/user/hive/warehouse/中,只有最后一个文件在那里。
以前的那些文件去哪了?它们是否因为覆盖到配置单元表而丢失?“我做到了” hdfs dfs -ls -R / | grep "filename “但是找不到我的文件。

yx2lnoni

yx2lnoni1#

LOAD DATA INPATH 将文件从源hdfs路径移动(而不是复制)到表仓库路径。 OVERWRITE 将删除文件(如果启用了hdfs trash,则将文件移动到 Trash )已存在于表中并替换为路径中给定的文件。

ctrmrzij

ctrmrzij2#

LOAD DATA LOCAL INPATH 复制文件。 LOAD DATA INPATH 移动文件。 overwrite 在移入新文件之前删除现有文件。

相关问题