当前环境信息
[INFO 07-24 03:31:45 logger.py:36] 收到请求 chat-d9aa01ce9bad4c01a22eb2d07e2c8392: 提示符:'<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n你是谁<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n',参数: SamplingParams(n=1, best_of=1, presence_penalty=0.0, frequency_penalty=0.0, repetition_penalty=1.0, temperature=0.7, top_p=1.0, top_k=-1, min_p=0.0, seed=None, use_beam_search=False, length_penalty=1.0, early_stopping=False, stop=[], stop_token_ids=[], include_stop_str_in_output=False, ignore_eos=False, max_tokens=None, min_tokens=0, logprobs=None, prompt_logprobs=None, skip_special_tokens=True, spaces_between_special_tokens=True, truncate_prompt_tokens=None),提示符ID: [128000, 128006, 882, 128007, 271, 57668, 21043, 112471, 128009, 128006, 78191, 128007, 271],LoRa请求: None,提示适配器请求: None.
[INFO 07-24 03:31:45 async_llm_engine.py:173] 已添加请求 chat-d9aa01ce9bad4c01a22eb2d07e2c8392.
[INFO 07-24 03:31:45 python3: /project/lib/Analysis/Allocation.cpp:43] std::pair<llvm::SmallVector, llvm::SmallVector > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute):Assert `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"'失败。
中止(核心转储)
7条答案
按热度按时间pdtvr36n1#
Tesla V100-PCIE-32GB
y53ybaqx2#
你能提供完整的命令和使用的模型吗?
n3h0vuf23#
请提供完整的命令和使用的模型。
rks48beu4#
你正在提供哪个模型?
ergxz8rk5#
你能提供完整的命令和使用的模型吗?
Meta-Llama-3.1-8B-Instruct https://www.modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct/files
wydwbb8l6#
请尝试使用A100?V100可能不支持此型号。
62o28rlo7#
很遗憾!
V100可能不支持此型号。