我想用多个csv文件填充一个配置单元表。问题是不是所有的文件都有相同的分隔符。在创建表时,我只能指定一个分隔符~
create table status (type string, ...)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
with serdeproperties ("separatorChar" = "~")
STORED AS TEXTFILE
配置单元是否有允许多个csv分隔符的内置功能?我知道这些文件可以在加载之前通过hadoop作业进行标准化,或者基于https://stackoverflow.com/a/26356592/2207078 我可以用Pig做它,但我正在寻找一些内置的功能。理想情况下,我希望创建没有指定分隔符的状态表,并指示配置单元在加载时如何分隔列。
1条答案
按热度按时间kqhtkvqz1#
演示
数据文件
逗号.txt
分号.txt
管道.txt
ddl公司
将文件放在匹配的目录中