我的目标是每天拍摄rds表的快照并将其放入dynamodb表中。表格应该只包含一天的数据。
为此，需要设置一个数据管道来查询rds表，并以csv格式将结果发布到s3中。
然后，hiveactivity通过为文件和现有dynamodb表创建外部表，将此csv导入dynamodb表。
这非常有效，但是前一天的旧条目仍然存在于dynamodb表中。如果可能的话，我想在数据管道中这样做。我需要：
1） 找到清除dynamodb表的方法，或者至少删除/重新创建它，或者2）包含快照日期的额外列，并找到清除所有旧条目的方法。
有什么办法吗？
1条答案
按热度按时间a7qyws3x1#
您可以使用dynamodb生存时间（ttl），它允许您设置过期时间，在过期时间之后，项目将自动从dynamodb表中删除。ttl对于数据在特定时间段后失去相关性的情况非常有用，在您的情况下，它可以是第二天的开始时间。