hive：解析管道分隔的数据，其中还包含转义字符和其他特殊字符

9rygscc1 于 2021-06-01 发布在 Hadoop

关注(0)|答案(1)|浏览(521)

我正在尝试从一个 text 文件。
示例数据：

"100'082 \"|"ABC~01"|"Mana|ger1 \"|"ABC01@m'a`il.com"

使用以下查询：

create external table test3
(EmpID STRING, 
EmpName STRING, 
Designation STRING, 
Email STRING)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES  ('field.delim'='"|"')
STORED AS TEXTFILE
location '/home/hdp/samplefiles'
tblproperties ('skip.header.line.count'='1');

数据作为

| "100'082 \   | ABC~01         | Mana|ger1 \        | ABC01@m"a`il.com"  |

但我需要这样的数据

| 100'082 \   | ABC~01         | Mana|ger1 \        | ABC01@m"a`il.com  |

在第1列的开头和第4列的结尾没有双引号

hadoop Hive hiveql

来源：https://stackoverflow.com/questions/47475762/hive-parsing-pipe-delimited-data-which-also-has-escape-characters-and-other-sp

1条答案

按热度按时间

kdfy810k1#

使用opencsvserde代替multidivideserde。使用下面的查询，它将按问题中的预期工作。

CREATE EXTERNAL TABLE test3 (EmpID STRING, 
EmpName STRING, 
Designation STRING, 
Email STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES('separatorChar' = '|\|"|\||"\|"|"','quoteChar'= '\"','escapeChar'= '\,')
STORED AS TEXTFILE LOCATION '/home/hdp/samplefiles'
tblproperties ('skip.header.line.count'='1');

select查询的结果将是：

hive> select * from test3;
OK
100'082 \       ABC~01  Mana|ger1 \     ABC01@m'a`il.com

赞(0）回复(0）举报 2021-06-01

我来回答

hive：解析管道分隔的数据，其中还包含转义字符和其他特殊字符

1条答案

相关问题

热门标签

最新问答