我有一个目录，其中有一些10000个文件，我想复制这些文件并行.因为，我有4个处理器，我想看看我是否可以复制四个文件在同一时间并行.我不知道我如何才能实现这与GNU Parallel .我甚至不知道这是否是可能的.所以帮助将不胜感激.先谢了。
GNU Parallel
von4xj4u1#
find src -type f | parallel cp {} dst/
字符串
wwodge7n2#
我一直在努力解决一个类似的问题，需要将许多目录和文件从本地块存储设备（AWS EBS）复制到挂载的NFS设备（EFS）。由于这是在云中，CPU、网络和IO等资源可以扩展，因此也可以并行加速复制过程，但cp和rsync等Linux命令无法利用这一点。我最近发现了fpsync命令，它结合了fpart和rsync命令来并行复制，从而极大地加快了这种复制的速度。在Ubuntu上：
sudo apt-get install fpart sudo fpsync -n X /src /dst
字符串其中，X是并行进程的数量。这个实用程序的文档在这里：https://www.fpart.org/fpsync/ ......原始的AWS博客文章在这里：https://repost.aws/knowledge-center/efs-copy-data-in-parallel，它也有一些其他的选项。
2条答案
按热度按时间von4xj4u1#
字符串
wwodge7n2#
我一直在努力解决一个类似的问题，需要将许多目录和文件从本地块存储设备（AWS EBS）复制到挂载的NFS设备（EFS）。由于这是在云中，CPU、网络和IO等资源可以扩展，因此也可以并行加速复制过程，但cp和rsync等Linux命令无法利用这一点。
我最近发现了fpsync命令，它结合了fpart和rsync命令来并行复制，从而极大地加快了这种复制的速度。
在Ubuntu上：
字符串
其中，X是并行进程的数量。
这个实用程序的文档在这里：https://www.fpart.org/fpsync/ ......原始的AWS博客文章在这里：https://repost.aws/knowledge-center/efs-copy-data-in-parallel，它也有一些其他的选项。