由逗号和多个空格分隔的配置单元表

jhiyze9q 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(472)

我这里有一个类似的问题：由多个空格分隔的配置单元表源
我的数据如下：

AL, 01, 2016010700,   , BEST,   0, 266N,  753W
AL, 01, 2016010706,   , BEST,   0, 276N,  747W
AL, 01, 2016010712,   , BEST,   0, 287N,  738W
AL, 01, 2016010712,   , BEST,   0, 287N,  738W

这意味着我的列分隔符是“一个逗号加上可变数量的空格”。
我试着简单地修改 field.delim 在正则表达式中添加这个逗号，但它不起作用。结果是，所有数据都被放入第一列( basin )所有其他列都为空。

CREATE EXTERNAL TABLE IF NOT EXISTS default.myTable1
(
   basin string
  ,cy string
  ,yyyymmddhh int
  ,technum_min string
  ,tech string
  ,tau string
  ,lat_n_s string
  ,lon_e_w string 
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' 
WITH SERDEPROPERTIES ("field.delim"=",\\s+")
LOCATION '/data';

我正在运行hdp2.5（配置单元1.2.1）。
谢谢你的帮助和建议。

hadoop Hive hive-serde

来源：https://stackoverflow.com/questions/45345422/hive-table-delimited-by-comma-and-multiple-spaces

2条答案

按热度按时间

x7yiwoj41#

这个怎么样

(\S+),\s+(\S+),\s(\S+),\s+,\s(\S+)\s+(\S+),\s+(\S+),\s+(\S*)

赞(0）回复(0）举报 2021-05-29

deikduxw2#

我们有两种方法来解决你的问题。使用下面的选项创建表“rawtbl” ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 并使用trim（）删除空间

Insert into baseTbl select trim(basin), trim(cy),...., from rawTbl

或者你可以用正则表达式
我已经用regex更新了答案，regex是由请求字段组成的独立文本输入文件。regex包含7个regex组，在每行上捕获请求的字段。

CREATE EXTERNAL TABlE tableex(basin string
  ,cy string
  ,yyyymmddhh int
  ,technum_min string
  ,tech string
  ,tau string
  ,lat_n_s string
  ,lon_e_w string ) 
ROW FORMAT 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
  "input.regex" = '^([A-Za-z]{2}),\s+(\d{2}),\s(\d{10}),\s+,\s([A-Z]{4}),\s+(\d{1}),\s+(\d{3}[A-Z]{1}),\s+(\d+[A-Z]{1})'
)
LOCATION '/data';

展开查看全部

赞(0）回复(0）举报 2021-05-29

我来回答

由逗号和多个空格分隔的配置单元表

2条答案

相关问题

热门标签

最新问答