当使用pyspark进行分布式计算时,是否可以跨工作python进程共享gpu内存?特别是我有一个pytorch模型,我想在其上运行分布式推理,运行这个模型的最简单方法是每个pyspark工作进程将pytorch模型加载到cuda内存中。然而,这是非常低效的,并大大减少了pytorch模型的大小,可以适应。在spark 3.0中有更好的gpu支持,有没有办法做到这一点?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!