首页
问答库
知识库
教程库
标签
AI工具箱
登录
注册
投稿
vllm
+ 关注
文章:
0
|
问答:
0
|
关注:
0
暂无介绍
文章
|
问答
1
回答
25
浏览
vllm [Bug]: enable_prefix_caching 导致持续的非法内存访问错误
vllm
其他
brvekthn
2个月前
浏览 (25)
2个月前 
4
回答
72
浏览
vllm 支持TPU硬件
vllm
其他
rlcwz9us
2个月前
浏览 (72)
2个月前 
1
回答
51
浏览
vllm 从内存中推断出miqu-1-70b-sf-gptq(其他70b模型都正常),
vllm
其他
yqkkidmi
2个月前
浏览 (51)
2个月前 
3
回答
25
浏览
vllm 分布式批处理推理示例无法工作
vllm
其他
j8ag8udp
2个月前
浏览 (25)
2个月前 
8
回答
30
浏览
vllm 请为更高等级和α值添加LoRa支持,
vllm
其他
bfnvny8b
2个月前
浏览 (30)
2个月前 
1
回答
38
浏览
vllm CPU KV缓存何时使用和交换?
vllm
其他
c9qzyr3d
2个月前
浏览 (38)
2个月前 
5
回答
43
浏览
vllm HQQ量化支持
vllm
其他
i2byvkas
2个月前
浏览 (43)
2个月前 
1
回答
33
浏览
vllm 控制最大队列时间
vllm
其他
xzabzqsa
2个月前
浏览 (33)
2个月前 
2
回答
76
浏览
vllm 请问lora后的vl模型是否可以支持,例如在swift中微调qwen-vl-chat后,是否可以进行部署?
vllm
Swift
nkkqxpd9
2个月前
浏览 (76)
2个月前 
1
回答
89
浏览
vllm `yarn_linear_ramp_mask()`函数缺少一个必需的位置参数:'device',
vllm
Yarn
ddrv8njm
2个月前
浏览 (89)
2个月前 
8
回答
47
浏览
vllm --tensor-parallel-size 2 fails to load on GCP
vllm
其他
8qgya5xd
1个月前
浏览 (47)
1个月前 
6
回答
107
浏览
vllm api_server.py: 错误:无法识别的参数:--lora-modules sql-lora=~/.cache/huggingface/hub/models--yard1--llama-2-7b-sql-lora-test/
vllm
其他
rhfm7lfc
2个月前
浏览 (107)
2个月前 
1
回答
67
浏览
当使用djl-deepspeed时,vllm一直挂起,
vllm
其他
xam8gpfp
2个月前
浏览 (67)
2个月前 
4
回答
45
浏览
vllm 如何调用/添加一个新的lora模块到实时服务器?
vllm
其他
piwo6bdm
1个月前
浏览 (45)
1个月前 
5
回答
104
浏览
vllm [功能请求]考虑将QUICK内核集成到AWQ量化中,
vllm
其他
xjreopfe
2个月前
浏览 (104)
2个月前 
5
回答
86
浏览
vllm部署的qwen-14B的结果与原始qwen-14B的结果不一致,
vllm
其他
b4qexyjb
1个月前
浏览 (86)
1个月前 
4
回答
64
浏览
vllm 运行时异常[步骤必须是非零]
vllm
其他
fdbelqdn
2个月前
浏览 (64)
2个月前 
1
回答
45
浏览
vllm Speculative Streaming: 快速的LLM推理,无需辅助模型
vllm
其他
ht4b089n
2个月前
浏览 (45)
2个月前 
4
回答
81
浏览
vllm 当使用较小的`max_num_seqs`初始化LLM时,unittest test_prefix_caching失败,
vllm
其他
1hdlvixo
2个月前
浏览 (81)
2个月前 
4
回答
38
浏览
vllm AWQ量化内存使用 ``` AWQ量化内存使用 ```
vllm
其他
ni65a41a
1个月前
浏览 (38)
1个月前 
3
回答
70
浏览
基于vllm qwen7B的服务结果与原始qwen结果不一致,准确性将显著下降,
vllm
其他
idv4meu8
2个月前
浏览 (70)
2个月前 
5
回答
51
浏览
vllm QWen系列模型的答案准确率丢失,
vllm
其他
jxct1oxe
2个月前
浏览 (51)
2个月前 
1
回答
43
浏览
基于vllm qwen7B的推理结果也导致了准确性的降低,
vllm
其他
o0lyfsai
1个月前
浏览 (43)
1个月前 
1
回答
46
浏览
qwen14B通过VLLM加速的推理结果准确度降低了,
vllm
其他
p5fdfcr1
1个月前
浏览 (46)
1个月前 
4
回答
49
浏览
vllm Tokenization问题对于google/gemma-7b-it
vllm
Go
wixjitnu
1个月前
浏览 (49)
1个月前 
4
回答
100
浏览
vllm 支持AMD消费级GPU
vllm
其他
mum43rcc
1个月前
浏览 (100)
1个月前 
1
回答
36
浏览
VLLM框架是否能在后期支持华为的910B芯片?
vllm
其他
eiee3dmh
2个月前
浏览 (36)
2个月前 
1
回答
116
浏览
vllm 致命的Python错误:段错误(Segmentation fault)
vllm
Python
yfjy0ee7
2个月前
浏览 (116)
2个月前 
1
回答
89
浏览
在VLLM中的批处理
vllm
其他
ykejflvf
1个月前
浏览 (89)
1个月前 
5
回答
43
浏览
vllm TypeError: 'NoneType'对象不可调用
vllm
其他
vs91vp4v
2个月前
浏览 (43)
2个月前 
首页
上一页
3
4
5
6
7
8
9
10
11
12
下一页
末页
热门标签
更多
Java
query
python
Node
开发语言
request
Util
数据库
Table
后端
算法
Logger
Message
Element
Parser
最新问答
更多
xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1)
发布于
21天前
xxl-job 不能和nacos兼容?
回答(3)
发布于
21天前
xxl-job 任务执行完后无法结束,日志一直转圈
回答(3)
发布于
21天前
xxl-job-admin页面上查看调度日志样式问题
回答(1)
发布于
21天前
xxl-job 参数512字符限制能否去掉
回答(1)
发布于
21天前