我有两个文本文件,其结构与我从SQLServer中提取的相同。一个文件是1.5gb,另一个是7.5gb。我在hive中创建了一个表,然后将这些文件复制到相应的gcs bucket中。现在,当我尝试在表中加载数据时,7.5gb文件失败了。在运行loaddatainpath命令之后,bucket中的7.5gb文件将被删除。而在1.5 gb文件的情况下,它是工作得非常好。我应该用什么方法来解决这个问题呢。
我的Hiveql如下。
CREATE EXTERNAL TABLE IF NOT EXISTS myschema.mytable
( v_nbr int,
v_nm varchar(80),
p_nbr int,
r_nbr int,
a_account varchar(80),
a_amount decimal(13,4),
c_store int,
c_account int,
c_amount decimal(13,4),
rec_date date)
row format delimited
fields terminated by ','
stored as textfile;
LOAD DATA INPATH 'gs://mybucket/myschema.db/mytable1.5/file1.5gb.txt' OVERWRITE INTO TABLE myschema.table1.5;
LOAD DATA INPATH 'gs://mybucket/myschema.db/mytable7.5/file7.5gb.txt' OVERWRITE INTO TABLE myschema.table7.5;
1条答案
按热度按时间mhd8tkvw1#
你可以试试这个: