通过命令行将avro数据加载到bigquery中?

7rfyedvj  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(369)

我创建了一个avro配置单元表,并使用配置单元插入覆盖命令从另一个表将数据加载到avro表中。我可以看到avro配置单元表中的数据,但当我尝试将其加载到bigquery表中时,它给出了一个错误。表schema:-

CREATE TABLE `adityadb1.gold_hcth_prfl_datatype_acceptence`(  
  `prfl_id` bigint,     
  `crd_dtl` array< struct < cust_crd_id:bigint,crd_nbr:string,crd_typ_cde:string,crd_typ_cde_desc:string,crdhldr_nm:string,crd_exprn_dte:string,acct_nbr:string,cre_sys_cde:string,cre_sys_cde_desc:string,last_upd_sys_cde:string,last_upd_sys_cde_desc:string,cre_tmst:string,last_upd_tmst:string,str_nbr:int,lng_crd_nbr:string>>)        
STORED AS AVRO;

我是个错误getting:-

Error encountered during job execution:
Error while reading data, error message: The Apache Avro library failed to read data with the follwing error: Cannot resolve:

我使用以下命令将数据加载到bigquery:-

bq load --source_format=AVRO dataset.tableName avro-filePath
dfty9e19

dfty9e191#

确保您所指向的gs文件夹中有可用的数据,并且该数据包含架构(如果您是从配置单元创建的,则应该包含该架构)。这里有一个如何加载数据的示例

bq --location=US load --source_format=AVRO  --noreplace my_dataset.my_avro_table gs://myfolder/mytablefolder/part-m-00001.avro

相关问题