我相信这没有根本原因。欢迎贡献！我想说你可以将这个添加到ModelConfig类中，并通过EngineArgs传递它。

我会看一下这个。

有人知道关于那个的新闻吗？我想使用--dtype,但是它不起作用。

请查看vllm文档中的引擎参数，以了解支持的@mrPsycox —dtype。

感谢@Aakash-kaushik,我找到了问题。传递--dtype需要在命令的第一个参数中，而不是在最后一个。
这个对我有效：

run: |
   conda activate vllm
   python -m vllm.entrypoints.openai.api_server \
     --tensor-parallel-size $SKYPILOT_NUM_GPUS_PER_NODE \
     --dtype half \
     --host 0.0.0.0 --port 8080 \
     --model <model_ name>

作为解决方法，我目前正在做类似的事情：

import shutil
import os
from contextlib import contextmanager

@contextmanager
def swap_files(file1, file2):
    try:
        
        temp_file1 = file1 + '.temp'
        temp_file2 = file2 + '.temp'
            
        print("Renaming Files.")
        os.rename(file1, temp_file1)
        os.rename(file2, file1)
        os.rename(temp_file1, file2)
        
        yield
        
    finally:
        print("Restoring Files.")
        os.rename(file2, temp_file2)
        os.rename(file1, file2)
        os.rename(temp_file2, file1)

file1 = '/path/to/original/config.json'
file2 = '/path/to/modified/config.json'

with swap_files(file1, file2):
    llm = LLM(...)

我也很乐意看到这个。

@Aakash-kaushik@mrPsycox@timbmg@K-Mistele
请查看我的PR,并告诉我它是否符合您的需求。
正如@DarkLight1337在我的PR中指出的( #5836 ) ,您希望通过此功能实现什么目标，而无法通过vLLM参数来实现？(如果我们没有任何导致不同vLLM输出的情况，启用此功能的意义何在？)
一旦您回复我，我会编写一个涵盖该情况的测试。