Azure复制活动

rpppsulh  于 2023-11-21  发布在  其他
关注(0)|答案(1)|浏览(185)

Azure复制活动占用了太多时间,希望减少它。基本上我有大约200个文件夹,每天的数据都在更新最新的日期文件夹。我只需要从当前日期复制几个文件。我们可以减少扫描时间,而不是扫描所有200个文件夹,它应该只扫描当前日期吗?
我试过过滤器与最后修改,但它仍然是扫描所有文件,只获取当前修改的文件。

acruukt9

acruukt91#

由于您有日期文件夹,只需在变量中构建当前日期文件夹字符串,并在复制活动中使用通配符路径,如下所示。

根据日期文件夹格式,在ADF中生成日期字符串

作为示例,我采取了如下的日期文件夹。


的数据
因此,以相同的格式yyyy-MM-dd生成当前日期字符串并将字符串存储在变量中。您需要根据日期文件夹更改格式。

  1. @utcnow('yyyy-MM-dd')

字符串



在源数据集中,给予文件路径,直到容器inputdata和给予此变量在复制活动源通配符路径中,如下所示。



给予目标数据集中的目标文件夹。



重新启动管道,它将复制当前日期文件夹中的所有文件。


展开查看全部

相关问题