在配置单元中处理分区后的子文件夹

mwngjboj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(364)

我的目录结构如下。
/数据/年=/月=/日=/source1/.log
/数据/年=/月=/日=/source2/def.log
/数据/年=/月=/日=/source3/xyz.log
我想创建一个以年、月、日为分区的配置单元表,但当我尝试执行msck修复表时,它抱怨子文件夹“source1”。
create table语句 CREATE EXTERNAL TABLE SAMPLE ( col1 STRING, col2 STRING ) PARTITIONED BY (year STRING, month STRING, date STRING) STORED as ORC Location "s3n://blah/data/" TBLPROPERTIES ("orc.compress"="SNAPPY"); msck修复表给出“意外组件源1”。你知道如何在不移动文件的情况下创建一个外部表吗?谢谢你的帮助。

jfgube3f

jfgube3f1#

你能试着设置以下属性吗

hive.msck.path.validation = skip (or) ignore

在hive-site.xml中,然后对表执行“msck repair table”
(请参阅配置单元手册的“恢复分区(msck修复表)”部分)

相关问题