我在一个示例上运行了AWS ml.g5.12xlarge,并使用了4个GPU。我遇到了这个错误(Only able to place 1 replicas, but 2 replicas were requested
)。当我使用client.generate(inputs, max_new_tokens=128, replica_num=4)
时,也出现了类似的错误(Only able to place 1 replicas, but 4 replicas were requested
)。
我使用AWS DJL DeepSpeed进行运行,并使用了以下serving.properties文件:
engine=DeepSpeed
option.entrypoint=model.py
model.py
是一个自定义文件,包含了上面的代码以及其他在使用DJL服务器时需要的简单脚本。
2条答案
按热度按时间oalqel3c1#
你好,@spring1915。
tensor_parallel
和replica_num
的值应该传递给mii.serve
。我已经在 #386 中更新了 MII,当向generate
方法提供不支持的额外 kwargs 时,它会报错。请尝试将您的代码更新为以下内容并再次尝试:jqjz2hbq2#
获取以下错误信息:
深度学习加速器是否适用于单GPU环境A40?
请在同一主题上提供帮助。