如何在40个CPU上运行1000个不同参数集的相同Python脚本？

bzzcjhmw 于 2023-08-08 发布在 Python

关注(0)|答案(1)|浏览(75)

我需要用许多不同的超参数集运行相同的脚本。我有比CPU多得多的集合，所以我希望并行执行，但我希望它能为每个CPU调度一次运行。在Python中有没有一种简单的方法可以做到这一点？

1条答案

是的。你可以使用Python的multiprocessing模块;特别地，您可以使用multiprocessing.pool。
假设你想做的工作被封装在一个名为my_function的函数中，参数在my_iterable中，你可以这样做：

from multiprocessing import Pool
with Pool() as processing_pool:
        processing_pool.map(my_function, my_iterable)

字符串