我已经讨论了一些问题。但我没能做到。配置单元不支持更新,但一个解决方法是创建表的分区。如何更新配置单元中的记录?
pbpqsu0x1#
hive中的更新功能计划在下一个版本中使用。作为解决方法,您可以尝试以下方法:添加一个标志列default作为i和一个timestamp列将分区视为主键字段(组合)。每当此主键组合上的新记录(更新)时,将标志设置为u。编写一个只显示u条记录的自定义serde类。注意:会有重复的数据,但是serde应该只在timestamp列中显示与最新时间戳相对应的最新u数据。
1条答案
按热度按时间pbpqsu0x1#
hive中的更新功能计划在下一个版本中使用。
作为解决方法,您可以尝试以下方法:
添加一个标志列default作为i和一个timestamp列
将分区视为主键字段(组合)。
每当此主键组合上的新记录(更新)时,将标志设置为u。
编写一个只显示u条记录的自定义serde类。
注意:会有重复的数据,但是serde应该只在timestamp列中显示与最新时间戳相对应的最新u数据。