vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

2回答
38浏览
vllm [Bug]: llama-3.1-70b 将模型分片内存对象清理 vllm
其他 jjjwad0x4个月前浏览 (38)4个月前
3回答
39浏览
vllm [Bug]: 8路Tensor并行性在Ubuntu 20.04(实际上是Azure)上的Punica损坏，自v0.5版本起 vllm
其他 cxfofazt4个月前浏览 (39)4个月前
1回答
40浏览
[Bug]: VLLM 0.5.3.post1 [rank0]: RuntimeError: NCCL错误：未处理的CUDA错误(使用NCCL_DEBUG=INFO运行以获取详细信息) vllm
其他 30byixjq4个月前浏览 (40)4个月前
3回答
38浏览
vllm [用法]:部署Llama3.1 405B-指令-FP8与H800 * 8不工作 vllm
其他 ct2axkht4个月前浏览 (38)4个月前
2回答
39浏览
vllm [Bug]:无法运行meta-llama/Llama-Guard-3-8B-INT8 vllm
其他 qvtsj1bj4个月前浏览 (39)4个月前
1回答
45浏览
vllm [Doc]: ROCm安装说明不起作用 vllm
其他 jgovgodb4个月前浏览 (45)4个月前
2回答
41浏览
vllm [Bug]:在MP分布式执行器后端中，主进程被杀死后，pt_main_thread进程不会被杀死, vllm
其他 6qftjkof4个月前浏览 (41)4个月前
1回答
43浏览
vllm [用法]:如何使用Medusa推测性采样推理模型, vllm
其他 jhkqcmku4个月前浏览 (43)4个月前
1回答
43浏览
vllm [Bug]: --max-model-len configuration robustness vllm
其他 uurity8g4个月前浏览 (43)4个月前
1回答
44浏览
vllm [Bug]: qwen2-72b-instruct model with RuntimeError: CUDA error: an illegal memory access was encountered vllm
其他 093gszye4个月前浏览 (44)4个月前
1回答
45浏览
vllm [用法]:如何使用离线推断为Mistral 7B传递JSON内容类型？ vllm
其他 q7solyqu4个月前浏览 (45)4个月前
1回答
42浏览
[Bug]: Llama 3.1 405 B FP8模型不受vLLM(v0.5.3.post1)在AMD GPU上的支持, vllm
其他 um6iljoc4个月前浏览 (42)4个月前
2回答
38浏览
vllm [Bug]:可用上下文(GPU块)被管道并行大小减半 vllm
其他 ev7lccsx4个月前浏览 (38)4个月前
2回答
39浏览
vllm Amazon/FalconLite2 vllm
其他 ahy6op9u4个月前浏览 (39)4个月前
2回答
39浏览
vllm [RFC]: Deprecation and removal for --engine-use-ray vllm
其他 apeeds0o4个月前浏览 (39)4个月前
5回答
43浏览
vllm [Bug]: 推测性解码死亡：IndexError:索引0超出维度0的范围，大小为0 vllm
其他 vsdwdz234个月前浏览 (43)4个月前
4回答
38浏览
vllm 在SageMaker上，出现错误"输入提示(9762个标记)太长，超过了8192的限制", vllm
其他 tjrkku2a4个月前浏览 (38)4个月前
2回答
40浏览
vllm [Misc]:如何修复测试中的正确清理问题 vllm
其他 utugiqy64个月前浏览 (40)4个月前
4回答
39浏览
vllm [用法]:v0.5.3.post1, ray, 2个主机，每个主机8x48G,Llama3.1-405B-FP8,失败 vllm
其他 vsdwdz234个月前浏览 (39)4个月前
2回答
40浏览
[Bug]:运行时错误：CHECK_EQ(paged_kv_indptr.size(0), batch_size + 1)失败,1与257不相等,当使用vllm加载gemma-2-9b-it时出现此问题, vllm
其他 tnkciper4个月前浏览 (40)4个月前
2回答
44浏览
vllm [Bug]: vllm
其他 332nm8kg4个月前浏览 (44)4个月前
1回答
40浏览
vllm [Bug]: DeepSeek-V2-Lite量化模型引发模型形状错误 vllm
其他 ercv8c1e4个月前浏览 (40)4个月前
2回答
38浏览
vllm [Bug]:InternVL2推理运行时错误：GET无法找到执行此计算的引擎, vllm
其他 gc0ot86w4个月前浏览 (38)4个月前
1回答
39浏览
vllm [Misc]:支持Shieldgemma模型 vllm
其他 tf7tbtn24个月前浏览 (39)4个月前
1回答
41浏览
vllm [Bug]: 多LoRa请求的Bug vllm
其他 0lvr5msh4个月前浏览 (41)4个月前
2回答
43浏览
vllm [Bug]: vllm
其他 ctzwtxfj4个月前浏览 (43)4个月前
1回答
74浏览
vllm [Bug]: ValueError:所需GPU数量超过集群中可用GPU的总数, vllm
其他 kx7yvsdv4个月前浏览 (74)4个月前
3回答
113浏览
vllm 关于集成打包推理，你有什么看法？ vllm
其他 z8dt9xmd4个月前浏览 (113)4个月前
1回答
39浏览
vllm Use LRU cache for CUDA Graphs vllm
其他 qrjkbowd4个月前浏览 (39)4个月前
4回答
103浏览
vllm GPTQ不支持bfloat16, vllm
其他 4urapxun4个月前浏览 (103)4个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前