我已经将经过训练的PyTorch模型部署到Google Vertex AI Prediction端点，端点运行良好，可以提供预测，但当我在日志资源管理器中查看其日志时，发现：
信息2023-01- 11 T10：34：53.270885171Z GPU数量：0
信息2023-01- 11 T10：34：53.270888834Z CPU数量：4
尽管我将端点设置为使用NVIDIA_TESLA_T4作为加速器类型，但这并不重要：
为什么日志显示0 GPU，这是否意味着TorchServe没有利用加速器GPU？
1条答案
按热度按时间xytpbqjk1#
这是PyTorch和CUDA的一个常见问题。GPU支持只有在安装了正确版本的PyTorch时才能启用，也就是说，一个可以为CUDA编译的版本。因此，建议您使用具有PyTorch CUDA功能的图像。