CTranslate2 无法隐藏GPU以获取CUDA设备数量

ycggw6v2 于 5个月前发布在其他

关注(0)|答案(5)|浏览(63)

你好，
感谢这个很棒的项目！
我正在运行Windows 11和ctranslate2 v4.2.1。当在带有gpu的机器上运行时，即使我将CUDA_VISIBLE_DEVICES设置为空字符串，get_cuda_device_count()始终返回机器上的gpu数量。这是预期的吗？

CTranslate2

来源：https://github.com/OpenNMT/CTranslate2/issues/1693

5条答案

按热度按时间

ev7lccsx1#

CUDA_VISIBLE_DEVICES应该影响哪个GPU可见。如果你有超过2个GPU,尝试导出CUDA_VISIBLE_DEVICES=1并运行脚本，看看GPU 1是否按预期使用。

赞(0）回复(0）举报 5个月前

wfsdck302#

我只有一个GPU,当我设置CUDA_VISIBLE_DEVICES=""时，数量仍然是1。Il Lun 13 Mag 2024, 17:51 Minh-Thuc ***@***.***> ha scritto:...
CUDA_VISIBLE_DEVICES应该影响哪个GPU将被可见。如果您有超过2个GPU,请尝试导出CUDA_VISIBLE_DEVICES=1并运行脚本以查看GPU 1是否按预期使用。 — 回复此电子邮件，直接查看GitHub <#1693 (comment)>,或取消订阅 < https://github.com/notifications/unsubscribe-auth/AA7LDISRBLZNAZFGACHKIQLZCDOPNAVCNFSM6AAAAABHLYM5VCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBYGA3TOMZQG4 > 。您收到此消息是因为您创建了该线程。Message ID: ***@***.***>

赞(0）回复(0）举报 5个月前

kd3sttzy3#

我刚刚测试了一下，如果我设置了CUDA_VISIBLE_DEVICES=""并且用ctranslate2::get_gpu_count()获取GPU设备数量，我得到了正确的值。

赞(0）回复(0）举报 5个月前

zfycwa2u4#

你是否在Windows上测试过？Il Mar 14 Mag 2024, 11:14 Minh-Thuc ***@***.***> ha scritto:我刚刚测试了一下，如果我设置CUDA_VISIBLE_DEVICES=""并且使用ctranslate2::get_gpu_count()获取GPU设备数量，我得到了正确的值。——直接回复此电子邮件，查看GitHub <#1693 (comment)>,或者取消订阅< https://github.com/notifications/unsubscribe-auth/AA7LDIS3U7DF375G3TSFJITZCHIXLAVCNFSM6AAAAABHLYM5VCVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDCMBZGY4DQNRXGQ >。你收到这封邮件是因为你创建了这个线程。消息ID:***@***.***>

赞(0）回复(0）举报 5个月前

lnvxswe25#

我在Linux上进行了测试。请确保您正确设置了环境变量。您可以直接在不使用ct2的情况下使用CUDA进行测试。

赞(0）回复(0）举报 5个月前