vllm [Bug]: python3: /project/lib/Analysis/Allocation.cpp:43: std::pair< llvm::SmallVector< unsigned int>, llvm::SmallVector< unsigned int> > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute): Assert `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"'失败,中止(核心转储)

f5emj3cl  于 6个月前  发布在  Python
关注(0)|答案(7)|浏览(62)

当前环境信息

[INFO 07-24 03:31:45 logger.py:36] 收到请求 chat-d9aa01ce9bad4c01a22eb2d07e2c8392: 提示符:'<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n你是谁<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n',参数: SamplingParams(n=1, best_of=1, presence_penalty=0.0, frequency_penalty=0.0, repetition_penalty=1.0, temperature=0.7, top_p=1.0, top_k=-1, min_p=0.0, seed=None, use_beam_search=False, length_penalty=1.0, early_stopping=False, stop=[], stop_token_ids=[], include_stop_str_in_output=False, ignore_eos=False, max_tokens=None, min_tokens=0, logprobs=None, prompt_logprobs=None, skip_special_tokens=True, spaces_between_special_tokens=True, truncate_prompt_tokens=None),提示符ID: [128000, 128006, 882, 128007, 271, 57668, 21043, 112471, 128009, 128006, 78191, 128007, 271],LoRa请求: None,提示适配器请求: None.
[INFO 07-24 03:31:45 async_llm_engine.py:173] 已添加请求 chat-d9aa01ce9bad4c01a22eb2d07e2c8392.
[INFO 07-24 03:31:45 python3: /project/lib/Analysis/Allocation.cpp:43] std::pair<llvm::SmallVector, llvm::SmallVector > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute):Assert `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"'失败。
中止(核心转储)

pdtvr36n

pdtvr36n1#

Tesla V100-PCIE-32GB

y53ybaqx

y53ybaqx2#

你能提供完整的命令和使用的模型吗?

n3h0vuf2

n3h0vuf23#

请提供完整的命令和使用的模型。

python3 -m vllm.entrypoints.openai.api_server 
  --model /data/mlops/model 
  --served_model_name test 
  --tensor_parallel_size 1 
  --host 0.0.0.0 
  --port 31000 
  --trust_remote_code 
  --dtype half
rks48beu

rks48beu4#

你正在提供哪个模型?

ergxz8rk

ergxz8rk5#

你能提供完整的命令和使用的模型吗?
Meta-Llama-3.1-8B-Instruct https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct/files

wydwbb8l

wydwbb8l6#

请尝试使用A100?V100可能不支持此型号。

62o28rlo

62o28rlo7#

很遗憾!
V100可能不支持此型号。

相关问题