当我通过标准命令行实用程序删除MLRun/v3 io中NoSqlTarget(键值存储)的内容时,例如:
rm -rf /v3io/project/test-featureset/
它采取了近似。1小时处理100万个文件,如果是2000万个文件,则接近1天。你有提示/技巧,如何使用更快的删除?
bpsygsoo1#
我得到了非常有用的提示加速删除过程,使用这个命令行:
hdfs dfs -rm -f -r v3io://projects/test-featureset/
新的性能非常出色,每3分钟处理100万个文件。顺便说一句:命令hdfs dfs可以用于加速其他操作,如-ls -cp -find,更多信息请参见link
hdfs dfs
-ls -cp -find
1条答案
按热度按时间bpsygsoo1#
我得到了非常有用的提示加速删除过程,使用这个命令行:
新的性能非常出色,每3分钟处理100万个文件。
顺便说一句:命令
hdfs dfs
可以用于加速其他操作,如-ls -cp -find
,更多信息请参见link