将历史数据保留在分区表中
团队,
这里有一个场景-我有两个表-一个是非分区的,另一个是在一个日期字段上的分区表分区。
我已经将非分区表中的数据加载到分区表中,并且我已经将下面的参数设置为加载到分区表中。
write.partitionBy(“date”) \
.format(“orc”) \
.mode(“overwrite”) \
.saveAsTable(“schema.table1”)
现在两个表的计数都匹配,有3年的数据。正如所料。
现在我只刷新了最近一年的数据,并尝试加载分区表,但它只加载了1年的数据,因为我需要分区表中所有3年的数据。
我错过了什么。。我只需要刷新1年的数据并将其加载到分区表中,并保持构建历史。
好心的建议。谢谢
write.partitionBy(“date”)
.format(“orc”)
.mode(“overwrite”)
.saveAsTable(“schema.table1”)
需要保留历史记录,每天更新最新数据。
暂无答案!
目前还没有任何答案,快来回答吧!