DOC: add doc about xinference_client

izj3ouym  于 4个月前  发布在  其他
关注(0)|答案(1)|浏览(68)

描述bug

https://inference.readthedocs.io/zh-cn/latest/getting_started/using_xinference.html
文档错误
from xinference.client import RESTfulClient
client = RESTfulClient(" http://127.0.0.1:9997 ")
model_uid = client.launch_model(
model_engine="<inference_engine>",
model_uid="my-llama-2",
model_name="llama-2-chat",
model_format="pytorch",
size_in_billions=13
)
print('Model uid: ' + model_uid)

重现问题

为了帮助我们重现这个问题,请提供以下信息:

  1. Python 3.12.
  2. v0.12.2.post1.
  3. v0.12.2.post1.
  4. 没有名为'xinference'的模块。

预期行为

from xinference_client import RESTfulClient

gojuced7

gojuced71#

这个问题已经过时,因为它已经开放了7天,没有任何活动。

相关问题