在Azure数据工厂DataFlow中基于文件名创建动态文件夹

wqsoz72f  于 2023-08-07  发布在  其他
关注(0)|答案(1)|浏览(112)

我正在使用Azure Data Factory数据流管道,其中有一个Sink Activity。接收器中的一列包含格式为“2023-07-19_diane_12345.csv”的文件名信息。我想使用一种模式从文件名中提取特定数据,并根据以下模式yyyy/mm/dd创建文件夹。
我尝试在表达式中使用substring和lastIndexOf函数,但它没有按预期工作。下面的参数包含文件名
x1c 0d1x的数据
在SINK活动中,我试图使用表达式生成器来完成这项工作,但它说未找到列。



看起来我正在构建的表达式是针对CopyActivity的,而不是针对Dataflow的,我猜。是否有其他方法来执行作业并动态创建文件夹?
管道看起来是这样的


还有Flume设置:


e5nszbig

e5nszbig1#

在派生列中使用下面的表达式生成器添加列

replace(substring(fileName ,0, 10),"-","/")

字符串
这里fileName是存储文件名的列。


的数据
按如下所述配置接收器设置:

*文件名选项:Name folder as column data
*列数据:<created column>



文件将以yyyy/mm/dd存储,如下所述:


相关问题