inference 能否指定 GPU 运行?

qgzx9mmu  于 7个月前  发布在  其他
关注(0)|答案(2)|浏览(60)

Web图形界面能否指定使用哪个GPU,例如模型1使用cuda0,模型2使用cuda1?

wmvff8tz

wmvff8tz1#

目前不支持指定GPU调度。您可以先启动模型1,再启动模型2(都n_gpu=1),这样模型1将在GPU0上运行,模型2将在GPU1上运行。

mwg9r5ms

mwg9r5ms2#

我选择数量4加载了第一个模型后,加载第二个模型使用数量2,依然加载在了0,1这两张卡上。

相关问题