检查其他资源

• 为这个问题添加了一个非常描述性的标题。
• 使用集成搜索在LangChain文档中进行了搜索。
• 使用GitHub搜索找到了一个类似的问题，但没有找到。
• 我确信这是LangChain中的一个bug,而不是我的代码。
• 通过更新到LangChain的最新稳定版本(或特定集成包)无法解决此bug。

示例代码

从langchain_community.llms导入VLLM
llm = VLLM(
model="llava-hf/llava-1.5-7b-hf",
trust_remote_code=True, # 对于hf模型是必需的
max_new_tokens=128,
top_k=10,
top_p=0.95,
temperature=0.8,
)
或者
llm = VLLM(
model="llava-hf/llava-1.5-7b-hf",
trust_remote_code=True, # 对于hf模型是必需的
max_new_tokens=128,
top_k=10,
top_p=0.95,
temperature=0.8,
image_input_type="pixel_values",
image_token_id=123,
image_input_shape="224,224,3",
image_feature_size=512,
)
两种示例化VLLM类的方式都会得到相同的错误。

错误信息和堆栈跟踪(如果适用)

llm = VLLM(
[rank0]: ^^^^^
[rank0]: File /miniforge3/envs/ipex-vllm/lib/python3.11/site-packages/pydantic/v1/main.py", line 341, in init
[rank0]: raise validation_error
[rank0]: pydantic.v1.error_wrappers.ValidationError: 1 validation error for VLLM
[rank0]: root
[rank0]: 通过LLM入口点或引擎参数提供image_input_type和其他视觉相关配置。 (type=assertion_error)

描述

我试图通过Langchain运行LLaVA模型的VLLM。我正在使用CPU运行我的代码。
我遇到了这个错误：“通过LLM入口点或引擎参数提供image_input_type和其他视觉相关配置。”
我查看了vllm/vllm/engine/arg_utils.py:class EngineArgs的源代码，并在VLLM类中作为上述方式传递了视觉配置。然而，我发现即使设置了image_input_type="pixel_values"在VLLM类中(如上所示),EngineArgs类中的self.image_input_type值为None。