首页
问答库
知识库
教程库
标签
AI工具箱
登录
注册
投稿
vllm
+ 关注
文章:
0
|
问答:
0
|
关注:
0
暂无介绍
文章
|
问答
6
回答
23
浏览
vllm [Usage]: if I want to run a 34B model,like yi-34B-chat,how can I use multi GPU,I just have A100 40G
vllm
其他
f8rj6qna
22天前
浏览 (23)
22天前 
2
回答
14
浏览
vllm [特性]:无轮廓强烈依赖 翻译结果:[特性]:无轮廓的强烈依赖性
vllm
其他
nhn9ugyo
22天前
浏览 (14)
22天前 
4
回答
21
浏览
vllm [Misc]: 如何直接访问KV缓存?
vllm
其他
vh0rcniy
22天前
浏览 (21)
22天前 
3
回答
16
浏览
vllm [特性]:支持Internlm2 Lora加载
vllm
其他
oprakyz7
22天前
浏览 (16)
22天前 
3
回答
18
浏览
vllm 安装:导入llm时遇到错误
vllm
其他
ttcibm8c
22天前
浏览 (18)
22天前 
1
回答
17
浏览
[Bug]: vllm 如何加载 Yarn-Mistral-7B-128k(24G 4090,可能是 max-model-len*black-size 限制了 max-seq-len)
vllm
Yarn
4smxwvx5
22天前
浏览 (17)
22天前 
2
回答
16
浏览
vllm [Bug]: lora base_model.model.lm_head.base_layer.weight 不支持
vllm
其他
1zmg4dgp
22天前
浏览 (16)
22天前 
1
回答
20
浏览
vllm [用法]:运行时错误:CUDA错误:设备上没有可用于执行的内核映像,CUDA内核错误可能会在某些其他API调用中异步报告,因此下面的堆栈跟踪可能不正确,为了调试,请考虑传递CUDA_LAUNCH_BLOCKING=1,使用TORCH_USE_CUDA_DSA编译以启用设备端Assert,
vllm
其他
oaxa6hgo
22天前
浏览 (20)
22天前 
1
回答
63
浏览
vllm [Bug]:Intel GPU测试在CI中失败
vllm
其他
ndh0cuux
22天前
浏览 (63)
22天前 
4
回答
75
浏览
vllm [性能]:多节点管道并行双带宽,性能无变化
vllm
其他
vohkndzv
22天前
浏览 (75)
22天前 
2
回答
70
浏览
vllm [Feature]: 4D Attention Mask
vllm
其他
o0lyfsai
22天前
浏览 (70)
22天前 
1
回答
66
浏览
vllm [Bug]: OpenAI服务器意外关闭
vllm
其他
dluptydi
22天前
浏览 (66)
22天前 
4
回答
77
浏览
[Bug]: vLLM 在 AWS Inferentia (inf2) 上失败
vllm
其他
vkc1a9a2
22天前
浏览 (77)
22天前 
4
回答
19
浏览
vllm [用法]:max_num_seqs 和 max_model_len 分别表示什么?
vllm
其他
hsvhsicv
22天前
浏览 (19)
22天前 
2
回答
17
浏览
vllm [Bug]: 错误计数器只能按非负数递增,在指标模块中
vllm
其他
fnatzsnv
22天前
浏览 (17)
22天前 
2
回答
35
浏览
vllm 当我设置tensor_parallel_size=2时,发生了一个时间错误,
vllm
其他
jfgube3f
2个月前
浏览 (35)
2个月前 
8
回答
47
浏览
vllm 安装错误:pip install -e .
vllm
其他
0h4hbjxa
2个月前
浏览 (47)
2个月前 
1
回答
44
浏览
vllm 在规范解码测试中,测试之间的潜在状态泄漏,
vllm
其他
yyhrrdl8
2个月前
浏览 (44)
2个月前 
5
回答
45
浏览
vllm 从源代码安装失败,使用最新代码,
vllm
其他
jucafojl
2个月前
浏览 (45)
2个月前 
2
回答
45
浏览
vllm [Bug]:在MacOS上无法工作
vllm
Mac
m3eecexj
2个月前
浏览 (45)
2个月前 
1
回答
42
浏览
vllm [用法]:GPTQ量化行为
vllm
其他
wgxvkvu9
2个月前
浏览 (42)
2个月前 
3
回答
49
浏览
vllm [特性]:集成flash-infer FP8 KV缓存分块预填充(追加注意力)
vllm
其他
mtb9vblg
2个月前
浏览 (49)
2个月前 
1
回答
34
浏览
[Bug]: (VllmWorkerProcess pid=3253) 警告 08-13 11:31:37 shm_broadcast.py:386] 在60秒内未找到可用的块
vllm
其他
7fhtutme
2个月前
浏览 (34)
2个月前 
1
回答
37
浏览
vllm [杂项]:我想使用推测法运行Llama 3.1 405B,你能给我一个指南吗?
vllm
其他
7kqas0il
2个月前
浏览 (37)
2个月前 
1
回答
37
浏览
vllm [用法]:发布说明,最佳实践,主动中止
vllm
其他
qjp7pelc
2个月前
浏览 (37)
2个月前 
1
回答
36
浏览
vllm 使用方式:openai.API状态错误:错误代码:405 - {'细节':'方法不允许'}
vllm
其他
laawzig2
2个月前
浏览 (36)
2个月前 
2
回答
56
浏览
[Bug]: Gemma-2-2b-it load model hangs by vLLM==0.5.1 on Tesla T4 GPU
vllm
其他
djmepvbi
2个月前
浏览 (56)
2个月前 
5
回答
79
浏览
[Bug]: VLLM性能问题 - GPU利用率 - Mistral 7B
vllm
其他
tvokkenx
2个月前
浏览 (79)
2个月前 
7
回答
75
浏览
vllm [Bug]: Ray内存泄漏
vllm
其他
ars1skjm
2个月前
浏览 (75)
2个月前 
7
回答
65
浏览
vllm 在集群中在同一GPU上加载多个模型
vllm
其他
6bc51xsx
2个月前
浏览 (65)
2个月前 
首页
上一页
1
2
3
4
5
6
7
8
9
10
下一页
末页
热门标签
更多
Java
query
python
Node
开发语言
request
Util
数据库
Table
后端
算法
Logger
Message
Element
Parser
最新问答
更多
xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1)
发布于
21天前
xxl-job 不能和nacos兼容?
回答(3)
发布于
21天前
xxl-job 任务执行完后无法结束,日志一直转圈
回答(3)
发布于
21天前
xxl-job-admin页面上查看调度日志样式问题
回答(1)
发布于
21天前
xxl-job 参数512字符限制能否去掉
回答(1)
发布于
21天前