在分区配置单元表中保留旧数据

e0bqpujr  于 2021-06-27  发布在  Hive
关注(0)|答案(0)|浏览(280)

将历史数据保留在分区表中
团队,
这里有一个场景-我有两个表-一个是非分区的,另一个是在一个日期字段上的分区表分区。
我已经将非分区表中的数据加载到分区表中,并且我已经将下面的参数设置为加载到分区表中。

write.partitionBy(“date”) \
.format(“orc”) \
.mode(“overwrite”) \
.saveAsTable(“schema.table1”)

现在两个表的计数都匹配,有3年的数据。正如所料。
现在我只刷新了最近一年的数据,并尝试加载分区表,但它只加载了1年的数据,因为我需要分区表中所有3年的数据。
我错过了什么。。我只需要刷新1年的数据并将其加载到分区表中,并保持构建历史。
好心的建议。谢谢

write.partitionBy(“date”)
.format(“orc”)
.mode(“overwrite”)
.saveAsTable(“schema.table1”)

需要保留历史记录,每天更新最新数据。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题