azure ADF:data set行分隔符多个字符

shstlldc  于 2023-10-22  发布在  其他
关注(0)|答案(1)|浏览(99)

我正在使用azure数据工厂解析一个.dat文件。
每一行都由字符串'TASK'分隔。

示例

试123 ~ 946任务34 T * 89 YT 56任务36890* 5 T67任务365* 890 PT 6 *5678
当我做一个数据预览时,每次有一个字符'T'时都会显示一个单独的行。有没有一种方法可以使用一个带有字符串值的行索引?
在上面的例子中,我需要三个单独的行,以字符串'TASK'开头

wko9yo5t

wko9yo5t1#

对于复制活动,用于分隔文件中的行的单个字符或“\r\n”。

**图像参考:**ADF中分隔文本属性的MS文档。

只能使用单个字符作为行序号。这就是为什么,即使TASK被指定为n,它也将T作为定界符。你不能读这文件与定界符为TASK使用复制活动.这可以通过Map低转换活动来实现。下面是步骤,

  • 使用源数据集进行Source转换。给予行\n和列,。之所以选择这些分隔符,是因为这些分隔符不是数据的一部分。

  • 采用派生列变换,然后给予列的表达式为split(Column_1,'TASK')


这将使数组的值从column1数据。

  • 进行flatten变换,然后给予unroll by的值作为column1数组。

flatten转换输出:

相关问题