我已经创建了一个s3 bucket,启用了版本控制。
我还在数据库中创建了一个模式,以便捕获已为给定文件处理的版本,如下所示:
s3_data_processing_status
--------------------------
file_name: student_id_1.json
version : xyz
last_modified_date: 2020-12-28 11:00:06
我有一个cron来处理给定s3 bucket中创建/更新的所有文件。
为此,我遍历bucket中的文件并获取相关的版本。如果文件的关联版本不在上表中,那么我将处理该文件。
由于我已将给定文件对象的每个非当前版本的保留时间配置为30天,因此每次提取时,都会提取给定对象最近30天的记录。
这是非常低效的,因为已经处理了给定对象的许多获取版本。
在本文中,我发现:s3列出的文件比。
但我不知道是否有任何方法可以获取给定s3对象的更新版本,条件如下
version >= <xyz> OR
last_modified_date >= <date>
暂无答案!
目前还没有任何答案,快来回答吧!