Azure复制活动占用了太多时间,希望减少它。基本上我有大约200个文件夹,每天的数据都在更新最新的日期文件夹。我只需要从当前日期复制几个文件。我们可以减少扫描时间,而不是扫描所有200个文件夹,它应该只扫描当前日期吗?我试过过滤器与最后修改,但它仍然是扫描所有文件,只获取当前修改的文件。
acruukt91#
由于您有日期文件夹,只需在变量中构建当前日期文件夹字符串,并在复制活动中使用通配符路径,如下所示。
根据日期文件夹格式,在ADF中生成日期字符串。
作为示例,我采取了如下的日期文件夹。
的数据因此,以相同的格式yyyy-MM-dd生成当前日期字符串并将字符串存储在变量中。您需要根据日期文件夹更改格式。
yyyy-MM-dd
@utcnow('yyyy-MM-dd')
字符串
的在源数据集中,给予文件路径,直到容器inputdata和给予此变量在复制活动源通配符路径中,如下所示。
inputdata
的给予目标数据集中的目标文件夹。
的重新启动管道,它将复制当前日期文件夹中的所有文件。
的
1条答案
按热度按时间acruukt91#
由于您有日期文件夹,只需在变量中构建当前日期文件夹字符串,并在复制活动中使用通配符路径,如下所示。
根据日期文件夹格式,在ADF中生成日期字符串。
作为示例,我采取了如下的日期文件夹。
的数据
因此,以相同的格式
yyyy-MM-dd
生成当前日期字符串并将字符串存储在变量中。您需要根据日期文件夹更改格式。字符串
的
在源数据集中,给予文件路径,直到容器
inputdata
和给予此变量在复制活动源通配符路径中,如下所示。的
给予目标数据集中的目标文件夹。
的
重新启动管道,它将复制当前日期文件夹中的所有文件。
的