无法从gcs环境中的平面文件加载配置单元外部表

bqf10yzr  于 2021-06-24  发布在  Hive
关注(0)|答案(1)|浏览(328)

我有两个文本文件,其结构与我从SQLServer中提取的相同。一个文件是1.5gb,另一个是7.5gb。我在hive中创建了一个表,然后将这些文件复制到相应的gcs bucket中。现在,当我尝试在表中加载数据时,7.5gb文件失败了。在运行loaddatainpath命令之后,bucket中的7.5gb文件将被删除。而在1.5 gb文件的情况下,它是工作得非常好。我应该用什么方法来解决这个问题呢。
我的Hiveql如下。

CREATE EXTERNAL TABLE IF NOT EXISTS myschema.mytable
( v_nbr              int,
  v_nm               varchar(80),
  p_nbr              int,
  r_nbr              int,
  a_account          varchar(80),
  a_amount           decimal(13,4),
  c_store            int,
  c_account          int,
  c_amount           decimal(13,4),
  rec_date           date)
  row format delimited 
  fields terminated by ',' 
  stored as textfile;

LOAD DATA INPATH 'gs://mybucket/myschema.db/mytable1.5/file1.5gb.txt' OVERWRITE INTO TABLE myschema.table1.5;

LOAD DATA INPATH 'gs://mybucket/myschema.db/mytable7.5/file7.5gb.txt' OVERWRITE INTO TABLE myschema.table7.5;
mhd8tkvw

mhd8tkvw1#

你可以试试这个:

CREATE EXTERNAL TABLE IF NOT EXISTS myschema.mytable
( v_nbr              int,
  v_nm               varchar(80),
  p_nbr              int,
  r_nbr              int,
  a_account          varchar(80),
  a_amount           decimal(13,4),
  c_store            int,
  c_account          int,
  c_amount           decimal(13,4),
  rec_date           date)
  row format delimited 
  fields terminated by ',' 
  stored as textfile
  LOCATION 'gs://mybucket/myschema.db/mytable1.5/file1.5gb.txt';

相关问题