如何在将带有hdfs的orc文件复制到配置单元表的文件夹后更新该配置单元表的数据

2g32fytz 于 2021-06-28 发布在 Hive

关注(0)|答案(2)|浏览(652)

在使用hdfs copy将orc文件插入表的文件夹后，如何更新配置单元表的数据以在使用配置单元进行查询时查看这些数据。
致以最诚挚的问候。

2条答案

正如贝洛斯托基在上面的回答中提到的。如果表没有分区，则可以直接用更新的数据查询表，但如果表已分区，则需要首先在配置单元表中添加分区，您可以使用
您可以使用ALTERTABLE语句添加分区，如下所示

ALTER TABLE table1
    ADD PARTITION (dt='<date>')
    location '<hdfs file path>'

一旦添加了分区，hive metastore应该知道更改，所以您需要运行

msck repair table table1

在metastore中添加分区。
完成后，您可以查询您的数据

如果表没有分区，那么一旦文件位于location子句中指定的文件夹中的hdfs中，那么数据就应该可用于查询。
如果表是分区的，那么首先需要运行addpartition语句。