功能描述

目标是通过 additional_kwargs 输入参数将 safety_settings 传递给 Gemini Vertex LLM 对象，如下所示：

from llama_index.llms.vertex import Vertex
from vertexai.generative_models._generative_models import (
    HarmCategory,
    HarmBlockThreshold,
)

safety_settings = {
	HarmCategory.HARM_CATEGORY_DANGEROUS_CONTENT: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
	HarmCategory.HARM_CATEGORY_HATE_SPEECH: HarmBlockThreshold.BLOCK_LOW_AND_ABOVE,
}
llm = Vertex(
    model="gemini-pro",
    project=credentials.project_id,
    credentials=credentials,
    temperature=temperature,
    max_tokens=max_tokens,
    additional_kwargs={"safety_settings": safety_settings},
)

目前这是不可能的，会抛出错误，因为 additional_kwargs 都被添加到了 Gemini 的 GenerationConfig (即你会得到错误 ValueError: Unknown field for GenerationConfig: safety_settings )。

原因

我也尝试在查询时稍后添加 safety_settings,因为 Gemini Vertex 也只在生成时接受 safety_settings 参数。然而，当我使用聊天引擎(如 SimpleChatEngine & CondenseQuestionChatEngine)时，这也是不可能的，因为它们不支持将 **kwargs 作为 .chat() / .stream_chat() 函数的输入。
与修改所有聊天引擎以接受 **kwargs (因为我认为可能也有原因为什么不接受它们)不同，我认为在 LLM 对象示例创建时修复 safety_settings(如我上面给出的示例代码)会更方便。

功能价值

如果没有这个功能，似乎目前没有其他方法可以控制 Gemini Vertex LLM 的 safety_settings。