描述bug
https://inference.readthedocs.io/zh-cn/latest/getting_started/using_xinference.html
文档错误
from xinference.client import RESTfulClient
client = RESTfulClient(" http://127.0.0.1:9997 ")
model_uid = client.launch_model(
model_engine="<inference_engine>",
model_uid="my-llama-2",
model_name="llama-2-chat",
model_format="pytorch",
size_in_billions=13
)
print('Model uid: ' + model_uid)
重现问题
为了帮助我们重现这个问题,请提供以下信息:
- Python 3.12.
- v0.12.2.post1.
- v0.12.2.post1.
- 没有名为'xinference'的模块。
预期行为
from xinference_client import RESTfulClient
1条答案
按热度按时间gojuced71#
这个问题已经过时,因为它已经开放了7天,没有任何活动。