我创建了一个avro配置单元表,并使用配置单元插入覆盖命令从另一个表将数据加载到avro表中。我可以看到avro配置单元表中的数据,但当我尝试将其加载到bigquery表中时,它给出了一个错误。表schema:-
CREATE TABLE `adityadb1.gold_hcth_prfl_datatype_acceptence`(
`prfl_id` bigint,
`crd_dtl` array< struct < cust_crd_id:bigint,crd_nbr:string,crd_typ_cde:string,crd_typ_cde_desc:string,crdhldr_nm:string,crd_exprn_dte:string,acct_nbr:string,cre_sys_cde:string,cre_sys_cde_desc:string,last_upd_sys_cde:string,last_upd_sys_cde_desc:string,cre_tmst:string,last_upd_tmst:string,str_nbr:int,lng_crd_nbr:string>>)
STORED AS AVRO;
我是个错误getting:-
Error encountered during job execution:
Error while reading data, error message: The Apache Avro library failed to read data with the follwing error: Cannot resolve:
我使用以下命令将数据加载到bigquery:-
bq load --source_format=AVRO dataset.tableName avro-filePath
1条答案
按热度按时间dfty9e191#
确保您所指向的gs文件夹中有可用的数据,并且该数据包含架构(如果您是从配置单元创建的,则应该包含该架构)。这里有一个如何加载数据的示例