HDFS 意外的v3io内容删除持续时间

ki0zmccv  于 2023-06-04  发布在  HDFS
关注(0)|答案(1)|浏览(260)

当我通过标准命令行实用程序删除MLRun/v3 io中NoSqlTarget(键值存储)的内容时,例如:

rm -rf /v3io/project/test-featureset/

它采取了近似。1小时处理100万个文件,如果是2000万个文件,则接近1天。
你有提示/技巧,如何使用更快的删除?

bpsygsoo

bpsygsoo1#

我得到了非常有用的提示加速删除过程,使用这个命令行:

hdfs dfs -rm -f -r v3io://projects/test-featureset/

新的性能非常出色,每3分钟处理100万个文件。
顺便说一句:命令hdfs dfs可以用于加速其他操作,如-ls -cp -find,更多信息请参见link

相关问题