1、使用deepspeed运行api.py,包括localhost:4:deepspeed --include localhost:4 api.py
2、使用CUDA_VISIBLE_DEVICES=4运行api.py:CUDA_VISIBLE_DEVICES=4 python api.py
由于这两种方法都不能指定使用的cuda,所以默认使用cuda:0。如何设置呢？
1、使用deepspeed运行api.py,包括localhost:4:deepspeed --include localhost:4 api.py
2、使用CUDA_VISIBLE_DEVICES=4运行api.py:CUDA_VISIBLE_DEVICES=4 python api.py
由于这两种方法都不能指定使用的cuda,所以默认使用cuda:0。如何设置呢？
1条答案
按热度按时间n8ghc7c11#
相同的问题，CUDA_VISIBLE_DEVICES不起作用