azure 如何动态设置Parquet列名称

yh2wf1be 于 2023-01-09 发布在其他

关注(0)|答案(1)|浏览(120)

我想在Azure Synapse管道中合并多个csv文件。我将通过复制活动实现它，但我面临着一个问题。
有两种类型的源文件。一种有头文件（文件类型是"有头"），另一种没有头文件（文件类型是"无头"）。
我想用"with header"文件的头设置方案，但是我不知道怎么做。
我认为，可以通过以下方式实现，可能吗？
1.使用"查找活动"获取文件"带标头"的列名列表。
2.将列名列表设置为数组类型的变量。
3.使用变量在"复制活动"中Map并合并多个文件。
可以使用列名列表进行Map吗？
等待您的帮助。任何答案将不胜感激。
谢谢你。
它被输入到问题的详细信息中。

Azure

来源：https://stackoverflow.com/questions/75041306/how-to-set-parquet-column-name-dynamically

1条答案

按热度按时间

2mbi3lxu1#

可以使用列名列表进行Map吗？
不可以，您不能在动态Map中使用列列表，您需要在json表单中指定Map，如下所示

{
    "source": {
        "name": "Id",
        "type": "String",
        "physicalType": "String"
        },
    "sink": {
        "name": "Id",
        "type": "String",
        "physicalType": "String"
        }
}

我想用"with header"文件的头设置方案，但是我不知道怎么做。