vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

2回答
81浏览
[Bug]:使用Docker运行vllm API vllm
Docker 06odsfpq5个月前浏览 (81)5个月前
9回答
58浏览
vllm [特性]:支持MiniCPM-Llama3-V-2_5多模态LLM vllm
其他 tpgth1q75个月前浏览 (58)5个月前
1回答
42浏览
vllm [安装]:在安装带有cuda 11.8的wheel时减小图像大小 vllm
其他 62lalag45个月前浏览 (42)5个月前
1回答
61浏览
vllm [性能]:在具有不同显存的GPU上拆分模型 vllm
其他 idfiyjo85个月前浏览 (61)5个月前
1回答
44浏览
vllm [Bug]: GPU内存使用量与gpu_memory_utilization设置不一致 vllm
其他 23c0lvtd5个月前浏览 (44)5个月前
3回答
44浏览
vllm [投机解码]: AttributeError: 'NoneType' 对象没有属性 'numel' 当超过草稿上下文长度时 vllm
其他 vuktfyat5个月前浏览 (44)5个月前
3回答
47浏览
vllm [Bug]:使用 --enable-prefix-caching 时，在某些提示长度以上将 echo=True 的情况下，/completions 会导致服务器崩溃, vllm
其他 pgccezyw5个月前浏览 (47)5个月前
1回答
38浏览
vllm [Bug]: 如果 trust_remote_code=True,Falcon 会失败, vllm
其他 8tntrjer5个月前浏览 (38)5个月前
3回答
42浏览
[RFC]: OpenVINO vLLM后端 vllm
其他 w51jfk4q5个月前浏览 (42)5个月前
8回答
56浏览
[Bug]: topk=1 and temperature=0 在 vllm 中导致不同的输出 vllm
其他 j13ufse25个月前浏览 (56)5个月前
1回答
46浏览
vllm 隐藏状态来自最终(或中间层) vllm
其他 j5fpnvbx5个月前浏览 (46)5个月前
1回答
56浏览
vllm [性能]:Qwen2-72B-指令-GPTQ-Int4 打开AI服务器请求问题 vllm
其他 tpgth1q75个月前浏览 (56)5个月前
5回答
54浏览
vllm [用法]:如何在下载模型时指定使用Hugging Face上的特定分支？ vllm
其他 gajydyqb5个月前浏览 (54)5个月前
1回答
40浏览
[Bug]: vllm部署GLM-4V时报告KeyError: 'transformer.vision.transformer.layers.45.mlp.fc2.weight' vllm
其他 kxeu7u2r5个月前浏览 (40)5个月前
2回答
45浏览
vllm [特性]:使用vGPU进行CI测试 vllm
其他 ego6inou5个月前浏览 (45)5个月前
3回答
49浏览
vllm [Bug]: TypeError: 需要一个类似字节的对象，而不是'str' vllm
其他 agxfikkp5个月前浏览 (49)5个月前
6回答
54浏览
vllm [Bug]: v0.4.3 AsyncEngineDeadError vllm
其他 2mbi3lxu5个月前浏览 (54)5个月前
1回答
54浏览
vllm multilora_inference调用qwen2-1.5b报错 vllm
其他 vulvrdjw5个月前浏览 (54)5个月前
5回答
50浏览
[Bug]: vllm v0.5.0内部Assert失败 vllm
其他 aelbi1ox5个月前浏览 (50)5个月前
1回答
52浏览
vllm [特性]:分页注意力(PagedAttention)乘以8 vllm
其他 0vvn1miw5个月前浏览 (52)5个月前
5回答
53浏览
vllm [功能]:允许用户定义的额外请求参数在OpenAI兼容服务器中进行记录 vllm
其他 gojuced75个月前浏览 (53)5个月前
6回答
38浏览
[用法]:OpenRLHF:如何在vLLM v0.4.3+ Ray worker中创建第二个NCCL组？ vllm
其他 tag5nh1u5个月前浏览 (38)5个月前
5回答
54浏览
vllm [Bug]: 加载 Mixtral-8x22B-Instruct-v0.1-FP8 在 8xL40S 上会导致 SIGSEGV vllm
其他 ubof19bj5个月前浏览 (54)5个月前
9回答
229浏览
vllm [用法]:当v0.5.0版本支持bitsandbytes时，我可以使用vlm.LLM(quantization="bitsandbytes"...)吗？ vllm
其他 nkkqxpd95个月前浏览 (229)5个月前
7回答
48浏览
vllm [Bug]: NCCL挂起并导致超时 vllm
其他 jm2pwxwz5个月前浏览 (48)5个月前
2回答
54浏览
vllm [Bug]:从源代码构建，但得到了意外的符号 vllm
其他 flvlnr445个月前浏览 (54)5个月前
5回答
47浏览
vllm [Bug]: ImportError: 无法从部分初始化的模块 'torch._jit_internal' 中导入名称 'boolean_dispatched' vllm
其他 8nuwlpux5个月前浏览 (47)5个月前
1回答
39浏览
[Feature]: 我们可以让vllm支持tensorrt编译之后的engine吗 vllm
其他 gtlvzcf85个月前浏览 (39)5个月前
2回答
38浏览
vllm 当调用接口时，如果不传递`system`参数，程序会卡住，输出全是感叹号！ vllm
其他 flvlnr445个月前浏览 (38)5个月前
8回答
51浏览
vllm [Bug]: 当tp >= 2时，ray无法工作, vllm
其他 lzfw57am5个月前浏览 (51)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前