我正在尝试使用计算群集上的作业命令在Azure ML中运行作业。我已将数据存储在Azure ML中的文件夹中。每次创建和运行作业命令时,它都会显示以下警告:
您的文件超过100 MB。如果您遇到低速、延迟或连接中断的情况,我们建议您使用AzCopyv 10工具进行此文件传输。
示例:azcopy copy '/....' 'https://....'
请参阅https://docs.microsoft.com/azure/storage/common/storage-use-azcopy-v10了解更多信息。
我无法理解以下问题:
1.问题出在哪里,是数据存储还是工作?
1.如果它想让我使用azcopy上传工作,我该怎么做?我找不到任何相同的参考资料。
1.我尝试使用azcopy将数据移动到blob存储中的容器中。当我尝试将其链接到作业时,它会导致流错误。我尝试实现建议的命令,但它会导致错误
1条答案
按热度按时间jhkqcmku1#
看起来,问题在于您试图传输的数据的大小,而不是数据存储或作业本身。
对于AZ Copy,您可以查看此文档以了解有关授权和复制文件到存储帐户的详细信息。对于上传文件和访问文件,您也可以检查python中的azureml.fsspec包。
由于命令作业支持
blob storage URI
和URI_File Data Asset
,因此您可以将其用作输入格式。下面是示例代码片段供参考:
字符串
有关更多详细信息和示例,您可以查看Access data in a job。