我正在使用hadoop2.7.3和hive2.1.1。
我在hdfs中有一些8-9文件。我创建了一个内部Hive表。我加载了那张表中8个文件中的第一个。对那个数据做了些操作。
在那之后,我通过覆盖到那个表中来加载第二个文件。
load data inpath '/path/path1/first.csv' into table ABC;
load data inpath '/path/path1/second.csv' overwrite into table ABC;
对第二个数据做了一些操作。
然后我使用“overwrite into”加载第三个文件,依此类推直到最后一个文件。
现在,我看到所有这些文件都不在原来的位置。另外,在/user/hive/warehouse/中,只有最后一个文件在那里。
以前的那些文件去哪了?它们是否因为覆盖到配置单元表而丢失?“我做到了” hdfs dfs -ls -R / | grep "filename
“但是找不到我的文件。
2条答案
按热度按时间yx2lnoni1#
LOAD DATA INPATH
将文件从源hdfs路径移动(而不是复制)到表仓库路径。OVERWRITE
将删除文件(如果启用了hdfs trash,则将文件移动到Trash
)已存在于表中并替换为路径中给定的文件。ctrmrzij2#
LOAD DATA LOCAL INPATH
复制文件。LOAD DATA INPATH
移动文件。overwrite
在移入新文件之前删除现有文件。