Azure Datalake Storage v2 API path update操作提到:
不支持使用多个客户端并发写入同一文件。
下面虽然position
参数描述如下:
此参数允许调用方并行上载数据,并控制将数据追加到文件的顺序。
这是否意味着append是并行工作的,但只使用单个客户端,比如从0长度的文件开始,使用10个线程将100个字节上传到位置0,100,200,...,这样范围就不会重叠?是否有实施这一点的例子?或者这一切只是文档中的不一致?
Azure Datalake Storage v2 API path update操作提到:
不支持使用多个客户端并发写入同一文件。
下面虽然position
参数描述如下:
此参数允许调用方并行上载数据,并控制将数据追加到文件的顺序。
这是否意味着append是并行工作的,但只使用单个客户端,比如从0长度的文件开始,使用10个线程将100个字节上传到位置0,100,200,...,这样范围就不会重叠?是否有实施这一点的例子?或者这一切只是文档中的不一致?
1条答案
按热度按时间of1yzvn41#
我决定自己试试。
上面的代码工作正常,上传可以并行完成,以任何顺序,只要块不重叠,没有“洞”。因此-是的,支持并发写入。