使用配置单元查询进行数据解析

dtcbnfnu  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(471)

我正在通过azure数据工厂构建一条管道。输入数据集是一个带有列分隔符的csv文件,输出数据集也是一个csv文件列分隔符。管道是通过扩展名为.hql的文件中的配置单元查询使用hdinsight活动设计的。配置单元查询如下

  1. set hive.exec.dynamic.partition.mode=nonstrict;
  2. DROP TABLE IF EXISTS Table1;
  3. CREATE EXTERNAL TABLE Table1 (
  4. Number string,
  5. Name string,
  6. Address string
  7. )
  8. ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  9. LINES TERMINATED BY '\n'
  10. STORED AS TEXTFILE
  11. LOCATION '/your/folder/location'
  12. SELECT * FROM Table1;

下面是文件格式

  1. Number,Name,Address
  2. 1,xyz,No 152,Chennai
  3. 2,abc,7th street,Chennai
  4. 3,wer,Chennai,Tamil Nadu

如何用输出数据集中的数据解析列标题?

vvppvyoh

vvppvyoh1#

据我了解,你的问题与csv文件有关。您将csv文件放在表位置,它由头文件组成。如果我的理解是正确的,请尝试下面的属性在您的表ddl。我希望这对你有帮助。

  1. tblproperties ("skip.header.line.count"="1");

谢谢,马努

相关问题