vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

6回答
86浏览
vllm [Usage]: if I want to run a 34B model，like yi-34B-chat,how can I use multi GPU,I just have A100 40G vllm
其他 f8rj6qna5个月前浏览 (86)5个月前
2回答
75浏览
vllm [特性]:无轮廓强烈依赖翻译结果：[特性]:无轮廓的强烈依赖性 vllm
其他 nhn9ugyo5个月前浏览 (75)5个月前
4回答
74浏览
vllm [Misc]: 如何直接访问KV缓存？ vllm
其他 vh0rcniy5个月前浏览 (74)5个月前
3回答
79浏览
vllm [特性]:支持Internlm2 Lora加载 vllm
其他 oprakyz75个月前浏览 (79)5个月前
3回答
78浏览
vllm 安装：导入llm时遇到错误 vllm
其他 ttcibm8c5个月前浏览 (78)5个月前
1回答
126浏览
[Bug]: vllm 如何加载 Yarn-Mistral-7B-128k(24G 4090,可能是 max-model-len*black-size 限制了 max-seq-len) vllm
Yarn 4smxwvx55个月前浏览 (126)5个月前
2回答
75浏览
vllm [Bug]: lora base_model.model.lm_head.base_layer.weight 不支持 vllm
其他 1zmg4dgp5个月前浏览 (75)5个月前
1回答
75浏览
vllm [用法]:运行时错误：CUDA错误：设备上没有可用于执行的内核映像,CUDA内核错误可能会在某些其他API调用中异步报告，因此下面的堆栈跟踪可能不正确,为了调试，请考虑传递CUDA_LAUNCH_BLOCKING=1,使用TORCH_USE_CUDA_DSA编译以启用设备端Assert, vllm
其他 oaxa6hgo5个月前浏览 (75)5个月前
1回答
118浏览
vllm [Bug]:Intel GPU测试在CI中失败 vllm
其他 ndh0cuux5个月前浏览 (118)5个月前
4回答
153浏览
vllm [性能]:多节点管道并行双带宽，性能无变化 vllm
其他 vohkndzv5个月前浏览 (153)5个月前
2回答
128浏览
vllm [Feature]: 4D Attention Mask vllm
其他 o0lyfsai5个月前浏览 (128)5个月前
1回答
142浏览
vllm [Bug]: OpenAI服务器意外关闭 vllm
其他 dluptydi5个月前浏览 (142)5个月前
4回答
140浏览
[Bug]: vLLM 在 AWS Inferentia (inf2) 上失败 vllm
其他 vkc1a9a25个月前浏览 (140)5个月前
4回答
89浏览
vllm [用法]:max_num_seqs 和 max_model_len 分别表示什么？ vllm
其他 hsvhsicv5个月前浏览 (89)5个月前
2回答
60浏览
vllm [Bug]: 错误计数器只能按非负数递增,在指标模块中 vllm
其他 fnatzsnv5个月前浏览 (60)5个月前
2回答
102浏览
vllm 当我设置tensor_parallel_size=2时，发生了一个时间错误, vllm
其他 jfgube3f5个月前浏览 (102)5个月前
8回答
90浏览
vllm 安装错误：pip install -e . vllm
其他 0h4hbjxa5个月前浏览 (90)5个月前
1回答
83浏览
vllm 在规范解码测试中，测试之间的潜在状态泄漏, vllm
其他 yyhrrdl85个月前浏览 (83)5个月前
5回答
84浏览
vllm 从源代码安装失败，使用最新代码, vllm
其他 jucafojl5个月前浏览 (84)5个月前
2回答
137浏览
vllm [Bug]:在MacOS上无法工作 vllm
Mac m3eecexj5个月前浏览 (137)5个月前
1回答
71浏览
vllm [用法]:GPTQ量化行为 vllm
其他 wgxvkvu95个月前浏览 (71)5个月前
3回答
82浏览
vllm [特性]:集成flash-infer FP8 KV缓存分块预填充(追加注意力) vllm
其他 mtb9vblg5个月前浏览 (82)5个月前
1回答
76浏览
[Bug]: (VllmWorkerProcess pid=3253) 警告 08-13 11:31:37 shm_broadcast.py:386] 在60秒内未找到可用的块 vllm
其他 7fhtutme5个月前浏览 (76)5个月前
1回答
77浏览
vllm [杂项]:我想使用推测法运行Llama 3.1 405B,你能给我一个指南吗？ vllm
其他 7kqas0il5个月前浏览 (77)5个月前
1回答
87浏览
vllm [用法]:发布说明，最佳实践，主动中止 vllm
其他 qjp7pelc5个月前浏览 (87)5个月前
1回答
94浏览
vllm 使用方式：openai.API状态错误：错误代码：405 - {'细节':'方法不允许'} vllm
其他 laawzig25个月前浏览 (94)5个月前
2回答
93浏览
[Bug]: Gemma-2-2b-it load model hangs by vLLM==0.5.1 on Tesla T4 GPU vllm
其他 djmepvbi5个月前浏览 (93)5个月前
5回答
122浏览
[Bug]: VLLM性能问题 - GPU利用率 - Mistral 7B vllm
其他 tvokkenx6个月前浏览 (122)6个月前
7回答
113浏览
vllm [Bug]: Ray内存泄漏 vllm
其他 ars1skjm6个月前浏览 (113)6个月前
7回答
105浏览
vllm 在集群中在同一GPU上加载多个模型 vllm
其他 6bc51xsx6个月前浏览 (105)6个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 5个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 5个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 5个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 5个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 5个月前