在ADLS(Azure数据湖存储)中将TB数据从一个容器移动到另一个容器

ewm0tg9j  于 2023-03-31  发布在  其他
关注(0)|答案(1)|浏览(162)

我们需要将许多容器和容器中的文件从一个订阅移动到Azure领域中的另一个订阅。
我们已经尝试了AzCopy和ADF。数据移动要么出错,要么永远无法完成。
以前有人做过类似的数据传输吗?

xa9qqrwz

xa9qqrwz1#

正如你提到的,推荐的方法是使用Azcopy或ADF。我分享了一些建议和最佳实践,以获得更好的性能。希望这能有所帮助。
1.**Azcopy:**要获得更好的吞吐量和更快的性能,您可以通过设置AZCOPY_CONCURRENCY_VALUE环境变量的值来增加复制操作的吞吐量。您可以尝试将此环境变量设置为大于1000的值,因为AzCopy使用服务器到服务器的API,因此数据直接在存储服务器之间复制,而不会使用您的计算机的处理能力。更多信息here和此处。
如果您在执行上述操作后仍然遇到问题,您可以通过在命令中使用--log-level参数分析azcopy日志来确定失败的原因。可用的日志级别为:调试、信息、警告、错误和无。
1.Azure数据工厂请参阅thisthis文章。

**附带说明:**如果您希望以编程方式从Blob存储复制到Blob存储,还可以利用Data Movement library

如果你想通过UI复制,你也可以使用Azure Storage Explorer

相关问题