据我所知,hadoop中不支持增量加载。我在玩Pig和Hive。出于测试目的,我只是从hcatalog中的表中读取现有值,将其与新数据合并,然后在hcatalog中创建新表,插入数据。它需要通过配置单元来维护,以删除旧表、重命名新表等。。。另一种解决方案是向现有表中的分区添加新数据。总的来说,你能建议增量加载的最佳解决方案吗?当做棘爪
nlejzf6q1#
向hive/hcatalog表添加分区数据是增量更新的最佳解决方案。此外,还可以有静态和动态分区。
1条答案
按热度按时间nlejzf6q1#
向hive/hcatalog表添加分区数据是增量更新的最佳解决方案。此外,还可以有静态和动态分区。