首页
问答库
知识库
教程库
标签
AI工具箱
登录
注册
投稿
vllm
+ 关注
文章:
0
|
问答:
0
|
关注:
0
暂无介绍
文章
|
问答
9
回答
43
浏览
vllm [Bug]: Qwen/Qwen2-72B-Instruct 128k server down
vllm
其他
vddsk6oq
2个月前
浏览 (43)
2个月前 
4
回答
34
浏览
vllm [Bug]:运行时错误:输出必须具有形状(total_q, num_heads, head_size_og)
vllm
其他
xmjla07d
2个月前
浏览 (34)
2个月前 
1
回答
18
浏览
[用法]:为运行vLLM推荐的CPU设置 ```markdown [用法]:为运行vLLM推荐的CPU设置 ```
vllm
其他
lzfw57am
2个月前
浏览 (18)
2个月前 
4
回答
32
浏览
vllm [Bug]:非法内存访问
vllm
其他
9o685dep
2个月前
浏览 (32)
2个月前 
2
回答
40
浏览
安装:在我的Mac上,poetry添加vllm不起作用--xformers(0.0.26.post1)不支持PEP 517构建,
vllm
Mac
j0pj023g
2个月前
浏览 (40)
2个月前 
4
回答
39
浏览
vllm [用法]:spec_decode和repetition_penalty可以一起使用吗?
vllm
其他
j5fpnvbx
2个月前
浏览 (39)
2个月前 
1
回答
24
浏览
vllm [Bug]: 当温度为0时,不会导致贪婪采样,
vllm
其他
lawou6xi
2个月前
浏览 (24)
2个月前 
3
回答
26
浏览
[Bug]: vllm.engine.async_llm_engine.AsyncEngineDeadError: 后台循环已经出错,RuntimeError: Triton错误[CUDA]:设备内核映像无效
vllm
其他
zfciruhq
2个月前
浏览 (26)
2个月前 
7
回答
48
浏览
vllm [Bug]: python3: /project/lib/Analysis/Allocation.cpp:43: std::pair< llvm::SmallVector< unsigned int>, llvm::SmallVector< unsigned int> > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute): Assert `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"'失败,中止(核心转储)
vllm
Python
f5emj3cl
2个月前
浏览 (48)
2个月前 
1
回答
22
浏览
[特性]:支持Ascend NPU的vllm
vllm
其他
js81xvg6
2个月前
浏览 (22)
2个月前 
1
回答
43
浏览
[Bug]: vllm-0.5.3.post1部署Qwen2-72b-instruct-awq模型,刚开始服务正常,但是并发高的时候就报错
vllm
其他
wwwo4jvm
2个月前
浏览 (43)
2个月前 
1
回答
37
浏览
vllm [Bug]:批处理推理不一致(即使温度为0)
vllm
其他
2admgd59
2个月前
浏览 (37)
2个月前 
2
回答
36
浏览
vllm [Bug]: FP8模型和FP8 KV-Cache-Scales一起加载在最新的0.5.3版本上失败,
vllm
其他
mccptt67
2个月前
浏览 (36)
2个月前 
1
回答
22
浏览
vllm [用法]:8xH100设备无法运行meta-llama/Meta-Llama-3.1-405B-Instruct-FP8,
vllm
其他
juzqafwq
2个月前
浏览 (22)
2个月前 
9
回答
69
浏览
vllm 你能支持Attention Sink吗?
vllm
其他
ou6hu8tu
2个月前
浏览 (69)
2个月前 
1
回答
71
浏览
vllm 建议:添加模型注册以支持专有模型
vllm
其他
pvabu6sv
2个月前
浏览 (71)
2个月前 
4
回答
47
浏览
vllm [Bug] prompt_logprobs = 1 OOM问题
vllm
其他
55ooxyrt
2个月前
浏览 (47)
2个月前 
2
回答
73
浏览
vllm 关于一次可以处理多少个请求的指导?
vllm
其他
1sbrub3j
2个月前
浏览 (73)
2个月前 
6
回答
89
浏览
vllm [FEATURE] Implement Dynamic SplitFuse
vllm
其他
zzzyeukh
2个月前
浏览 (89)
2个月前 
5
回答
39
浏览
vllm [新功能] 闪存解码++
vllm
其他
axzmvihb
2个月前
浏览 (39)
2个月前 
5
回答
88
浏览
vllm how to use chat function
vllm
其他
ojsjcaue
2个月前
浏览 (88)
2个月前 
3
回答
73
浏览
vllm API服务器性能
vllm
其他
kmpatx3s
2个月前
浏览 (73)
2个月前 
3
回答
91
浏览
vllm 无法在多GPU上使用gpt2-xl
vllm
其他
zvms9eto
2个月前
浏览 (91)
2个月前 
2
回答
95
浏览
vllm 当待处理请求大于0时,vlllm停止生成,
vllm
其他
7bsow1i6
2个月前
浏览 (95)
2个月前 
2
回答
63
浏览
为通过单个API网关托管多个VLLM模型添加工作注册服务
vllm
其他
s8vozzvw
2个月前
浏览 (63)
2个月前 
3
回答
76
浏览
vllm 任务因节点内存不足而被终止,
vllm
其他
bt1cpqcv
2个月前
浏览 (76)
2个月前 
3
回答
70
浏览
vllm Proposal: force type hint check with mypy
vllm
其他
tf7tbtn2
2个月前
浏览 (70)
2个月前 
2
回答
66
浏览
vllm 功能请求:提示查找解码 ```markdown 功能请求:提示查找解码 ```
vllm
其他
0lvr5msh
2个月前
浏览 (66)
2个月前 
3
回答
88
浏览
vllm Profile and optimize list operations in scheduling
vllm
其他
hxzsmxv2
2个月前
浏览 (88)
2个月前 
3
回答
92
浏览
vllm [用法]:加载训练好的模型时遇到问题,
vllm
其他
vfhzx4xs
2个月前
浏览 (92)
2个月前 
首页
上一页
5
6
7
8
9
10
11
12
13
14
下一页
末页
热门标签
更多
Java
query
python
Node
开发语言
request
Util
数据库
Table
后端
算法
Logger
Message
Element
Parser
最新问答
更多
xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1)
发布于
21天前
xxl-job 不能和nacos兼容?
回答(3)
发布于
21天前
xxl-job 任务执行完后无法结束,日志一直转圈
回答(3)
发布于
21天前
xxl-job-admin页面上查看调度日志样式问题
回答(1)
发布于
21天前
xxl-job 参数512字符限制能否去掉
回答(1)
发布于
21天前