使用配置单元查询进行数据解析

dtcbnfnu  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(404)

我正在通过azure数据工厂构建一条管道。输入数据集是一个带有列分隔符的csv文件,输出数据集也是一个csv文件列分隔符。管道是通过扩展名为.hql的文件中的配置单元查询使用hdinsight活动设计的。配置单元查询如下

set hive.exec.dynamic.partition.mode=nonstrict;

DROP TABLE IF EXISTS Table1; 
CREATE EXTERNAL TABLE Table1 (
  Number string, 
  Name string, 
  Address string
)
ROW FORMAT DELIMITED FIELDS  TERMINATED BY ','
LINES TERMINATED BY '\n'
STORED AS TEXTFILE 
LOCATION '/your/folder/location'

SELECT * FROM Table1;

下面是文件格式

Number,Name,Address 
1,xyz,No 152,Chennai
2,abc,7th street,Chennai
3,wer,Chennai,Tamil Nadu

如何用输出数据集中的数据解析列标题?

vvppvyoh

vvppvyoh1#

据我了解,你的问题与csv文件有关。您将csv文件放在表位置,它由头文件组成。如果我的理解是正确的,请尝试下面的属性在您的表ddl。我希望这对你有帮助。

tblproperties ("skip.header.line.count"="1");

谢谢,马努

相关问题