azure 通过ADF将数据从SFTP复制到ADLS Gen 2

14ifxucb  于 2023-03-19  发布在  其他
关注(0)|答案(1)|浏览(166)

我在SFTP服务器中有大约200GB的.gz格式的数据。我需要通过ADF将其复制到ADLS中。可以吗?需要采用的数据集文件格式是什么?文件格式也应该与adls中的.gz格式相同。这里不需要任何转换。
另外,数据的区域在这里重要吗?
除了ADF之外,还有其他更快的方法来实现这一目标吗?

8hhllhi2

8hhllhi21#

您可以将复制活动与SFTP Connector配合使用,并将该连接器用于源数据集。

  • 在源数据集中输入压缩类型gzip(.gz)

源数据集配置

{
"name": "DelimitedText66",
"properties": {
"linkedServiceName": {
"referenceName": "LS-SFTP",
"type": "LinkedServiceReference"
},
"annotations": [],
"type": "DelimitedText",
"typeProperties": {
"location": {
"type": "AzureBlobFSLocation",
"fileName": "Book1.xlsx.gz",
"fileSystem": "con1"
},
"columnDelimiter": ",",
"compressionCodec": "gzip",
"escapeChar": "\\",
"quoteChar": "\""
},
"schema": [
{
"type": "String"
},
{
"type": "String"
}
]
}
}
  • 同样,为ADLS创建链接服务并创建接收数据集。
  • 在拷贝活动中使用这些数据集,并执行管道以从SFTP拷贝到ADLS。

数据的区域在这里重要吗
这取决于SFTP服务器和ADLS帐户的位置。如果SFTP服务器和ADLS帐户位于同一区域,则数据传输速度可能会更快。
参考:

  1. azure-docs/connector-sftp.md at main · MicrosoftDocs/azure-docs (github.com)
  2. azure-docs/connector-azure-data-lake-storage.md at main · MicrosoftDocs/azure-docs (github.com)

相关问题