首页
问答库
知识库
教程库
标签
AI工具箱
登录
注册
投稿
vllm
+ 关注
文章:
0
|
问答:
0
|
关注:
0
暂无介绍
文章
|
问答
4
回答
49
浏览
vllm [用法]:无法加载 mistralai/Mixtral-8x7B-Instruct-v0.1
vllm
其他
mw3dktmi
2个月前
浏览 (49)
2个月前 
4
回答
76
浏览
vllm [特性]:允许指定为内存中的Tensor字典的LoRA适配器 翻译结果:[特性]:允许将LoRA适配器指定为内存中的Tensor字典,
vllm
其他
des4xlb0
2个月前
浏览 (76)
2个月前 
9
回答
84
浏览
[Bug]: 使用response_format json两次发送请求会破坏vLLM,
vllm
其他
0s7z1bwu
2个月前
浏览 (84)
2个月前 
3
回答
42
浏览
vllm [Bug]:运行时错误:未知布局
vllm
其他
j0pj023g
2个月前
浏览 (42)
2个月前 
3
回答
107
浏览
vllm [用法]:我们如何添加模型钩子?
vllm
其他
eiee3dmh
2个月前
浏览 (107)
2个月前 
1
回答
78
浏览
[安装]:如何使用CUDA 11.7和PyTorch 2.0.1安装最新版本的vLLM?
vllm
其他
pxy2qtax
2个月前
浏览 (78)
2个月前 
1
回答
72
浏览
[FacebookAI/roberta-large]: vllm支持FacebookAI/roberta-large
vllm
其他
hwamh0ep
2个月前
浏览 (72)
2个月前 
1
回答
69
浏览
vllm [Bug]: 运行时错误:没有合适的内核,h_in=16, h_out=55552, dtype=Float, out_dtype=BFloat16
vllm
其他
vsmadaxz
3个月前
浏览 (69)
3个月前 
6
回答
76
浏览
vllm [Bug]: NCCL在推理过程中超时
vllm
其他
yiytaume
3个月前
浏览 (76)
3个月前 
1
回答
94
浏览
vllm [Bug]:Ray在多机器集群中无法检测到所有节点,
vllm
其他
wxclj1h5
3个月前
浏览 (94)
3个月前 
4
回答
88
浏览
vllm [RFC]:内联黄金(预期)测试
vllm
其他
bvjxkvbb
3个月前
浏览 (88)
3个月前 
4
回答
70
浏览
[Bug]:无法使用vLLM来提供微调的Mistral模型,
vllm
其他
xienkqul
3个月前
浏览 (70)
3个月前 
4
回答
32
浏览
vllm [特性]:支持不使用nvcc的kv-cache-dtype fp8
vllm
其他
nsc4cvqm
3个月前
浏览 (32)
3个月前 
1
回答
61
浏览
vllm [Usage]: prefix-caching
vllm
其他
w8ntj3qf
3个月前
浏览 (61)
3个月前 
3
回答
34
浏览
vllm [Feature]: vAttention
vllm
其他
iklwldmw
3个月前
浏览 (34)
3个月前 
1
回答
30
浏览
[Bug]:我无法在两个GPU上使用vllm lora,但一个GPU是可以的,
vllm
其他
anauzrmj
3个月前
浏览 (30)
3个月前 
1
回答
38
浏览
vllm [特性]:支持LoRa,例如qwen-7b和qwen1.5,
vllm
其他
fhity93d
3个月前
浏览 (38)
3个月前 
1
回答
25
浏览
vllm [用法]:多个模型时出现内存不足 ```markdown [用法]:多个模型时出现内存不足 ```
vllm
其他
t5fffqht
3个月前
浏览 (25)
3个月前 
2
回答
24
浏览
vllm [用法]:每个请求获取时间统计信息
vllm
其他
vpfxa7rd
3个月前
浏览 (24)
3个月前 
1
回答
39
浏览
vllm [特性]:通过除pybind11之外的工具绑定Python和C++
vllm
Python
wtzytmuj
3个月前
浏览 (39)
3个月前 
4
回答
29
浏览
[性能]:基准测试vllm复制内核和pytorch索引复制
vllm
其他
nc1teljy
3个月前
浏览 (29)
3个月前 
1
回答
28
浏览
vllm [性能]:当SamplingParams.logprobs增加时,生成吞吐量大幅下降,
vllm
其他
doinxwow
3个月前
浏览 (28)
3个月前 
1
回答
22
浏览
vllm [Feature]: Supporting a version of Consistency LLM
vllm
其他
zf2sa74q
3个月前
浏览 (22)
3个月前 
4
回答
87
浏览
[性能]:为什么在基准吞吐量测试中,HF比VLLM更好?
vllm
其他
0h4hbjxa
3个月前
浏览 (87)
3个月前 
1
回答
30
浏览
vllm [Bug]: 在多次调用后使用线程,KeyError: request_id
vllm
其他
uhry853o
3个月前
浏览 (30)
3个月前 
1
回答
31
浏览
vllm [Bug]: export failed when kv cache fp8 quantizing Qwen1.5-72B-Chat-GPTQ-Int4
vllm
其他
woobm2wo
3个月前
浏览 (31)
3个月前 
1
回答
19
浏览
[用法]:我使用llama3,我在tokenizer.get_vocab()中发现了一个令牌'Ġor',但是当我使用vllm服务器时,我得到了' or '的响应,
vllm
其他
nbewdwxp
3个月前
浏览 (19)
3个月前 
7
回答
43
浏览
[Bug]: 英伟达最新驱动555.85,vllm运行报错
vllm
其他
wlwcrazw
3个月前
浏览 (43)
3个月前 
6
回答
40
浏览
[功能]:添加额外的指标,以便在Kubernetes中更好地实现vLLM服务器的自动扩展/负载均衡,
vllm
Kubernetes
zfycwa2u
3个月前
浏览 (40)
3个月前 
1
回答
29
浏览
vllm [特性]:添加 num_requests_preempted 指标
vllm
其他
ekqde3dh
3个月前
浏览 (29)
3个月前 
首页
上一页
5
6
7
8
9
10
11
12
13
14
下一页
末页
热门标签
更多
Java
query
python
Node
开发语言
request
Util
数据库
Table
后端
算法
Logger
Message
Element
Parser
最新问答
更多
xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1)
发布于
21天前
xxl-job 不能和nacos兼容?
回答(3)
发布于
21天前
xxl-job 任务执行完后无法结束,日志一直转圈
回答(3)
发布于
21天前
xxl-job-admin页面上查看调度日志样式问题
回答(1)
发布于
21天前
xxl-job 参数512字符限制能否去掉
回答(1)
发布于
21天前