vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

2回答
126浏览
提高vllm-openai图像的Cuda兼容性 vllm
其他 unhi4e5o4个月前浏览 (126)4个月前
1回答
121浏览
vllm [Feature Request] Mixtral Offloading vllm
其他 7gyucuyw4个月前浏览 (121)4个月前
4回答
77浏览
vllm TheBloke/Mixtral-8x7B-Instruct-v0.1-GPTQ 使用2个A10 GPU进行Tensor并行, vllm
其他 l7mqbcuq4个月前浏览 (77)4个月前
3回答
123浏览
vllm JSON日志记录 vllm
其他 x33g5p2x4个月前浏览 (123)4个月前
2回答
139浏览
vllm Yi-34B-200K在默认配置下(max_position_embedding=20000)有空输出, vllm
其他 7jmck4yq4个月前浏览 (139)4个月前
2回答
102浏览
vllm Feature request: Expert parallel for MoE architectures vllm
其他 u4vypkhs4个月前浏览 (102)4个月前
9回答
85浏览
Multi-node serving with vLLM - Problems with Ray vllm
其他 vecaoik14个月前浏览 (85)4个月前
2回答
169浏览
在仅具有CPU的机器上从源代码构建vllm是否可能？ vllm
其他 f8rj6qna4个月前浏览 (169)4个月前
1回答
43浏览
top_k = 50 will make vllm prediction align with transformers vllm
其他 332nm8kg4个月前浏览 (43)4个月前
8回答
104浏览
任何人都可以使用Qwen-14B-Chat-AWQ与VLLM/TP一起工作吗？ vllm
其他 sqxo8psd4个月前浏览 (104)4个月前
3回答
104浏览
vllm examples/offline_inference.py,推理baichuan-13b，1*A100(80G)，会OOM？ vllm
其他 nwlls2ji4个月前浏览 (104)4个月前
8回答
91浏览
vllm [Bug]: enable_prefix_caching 与 prompt_logprobs 不兼容, vllm
其他 cigdeys34个月前浏览 (91)4个月前
1回答
117浏览
vllm [功能]:为openai入口点添加CPU支持 vllm
其他 wsewodh24个月前浏览 (117)4个月前
7回答
93浏览
vllm [Bug]: CPU推理错误 vllm
其他 ijnw1ujt4个月前浏览 (93)4个月前
5回答
88浏览
vllm [用法]:如何将一些层卸载到CPU上？ vllm
其他 gkn4icbw4个月前浏览 (88)4个月前
1回答
51浏览
vllm [Bug]: 如果定义一个环境变量HOST_IP,初始化会挂起, vllm
其他 9jyewag04个月前浏览 (51)4个月前
3回答
73浏览
vllm [Misc]:前缀缓存是否与多LoRa一起工作？ vllm
其他 de90aj5v4个月前浏览 (73)4个月前
2回答
137浏览
vllm [新模型]:Cogagent vllm
其他 8mmmxcuj4个月前浏览 (137)4个月前
1回答
103浏览
vllm [Bug]:在0.4.0.post1版本之后，解码时特殊标记会被分割, vllm
其他 sauutmhj4个月前浏览 (103)4个月前
3回答
92浏览
vllm [Bug]: 带有日期字段的指导性JSON无效 vllm
其他 ztmd8pv54个月前浏览 (92)4个月前
4回答
166浏览
vllm [Bug]: 400 Bad Request vllm
其他 kcwpcxri4个月前浏览 (166)4个月前
1回答
118浏览
[Bug]:我使用vllm=0.4.1运行squeezellm时遇到了一个错误：RuntimeError: t == DeviceType::CUDA INTERNAL ASSERT FAILED at "/opt/hostedtoolcache/Python/3.10.14/x64/lib/python3.10/site-packages/torch/include/c10/cuda/impl/CUDAGuardImpl.h":25,请向PyTorch报告此错误, vllm
Python hfsqlsce4个月前浏览 (118)4个月前
2回答
134浏览
vllm [Bug]: 当dtype='bfloat16'时，batch_size会导致不同的推理结果, vllm
其他 gk7wooem4个月前浏览 (134)4个月前
4回答
169浏览
vllm [Bug]: ValueError: 模型 QWenLMHeadModel 不支持 LoRA,但已启用,未来可能会添加对该模型的支持,如果您对此很重要，请在 github 上打开一个问题, vllm
Git qacovj5a4个月前浏览 (169)4个月前
8回答
101浏览
vllm [特性]: MLA支持 vllm
其他 egmofgnx4个月前浏览 (101)4个月前
1回答
106浏览
vllm [Bug]:为什么0.4.1和0.4.2之间的logits不同？ vllm
Git z9zf31ra4个月前浏览 (106)4个月前
1回答
38浏览
vllm [Bug]:squeezeLLM与稀疏矩阵一起使用时无法正常工作, vllm
其他 owfi6suc4个月前浏览 (38)4个月前
1回答
39浏览
vllm [RFC]:支持在LLM或Server入口点中指定quant_config详细信息, vllm
其他 7ivaypg94个月前浏览 (39)4个月前
1回答
45浏览
[用法]:使用Vllm AutoAWQ与4个GPU时，未利用GPU, vllm
其他 falq053o4个月前浏览 (45)4个月前
6回答
59浏览
vllm [Bug]: 运行 mistral-7b + lora 时，使用 tensor_para=8 出现 CUDA 错误, vllm
其他 qnzebej04个月前浏览 (59)4个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 2个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 2个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 2个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前