vllm

vllm+ 关注

文章：0|问答：0|关注：0

暂无介绍

2回答
44浏览
vllm [性能]:为什么平均吞吐量生成率低？ vllm
其他 bbmckpt75个月前浏览 (44)5个月前
3回答
38浏览
vllm [特性]:支持W4A8KV4量化(QServe/QoQ) vllm
其他 wfsdck305个月前浏览 (38)5个月前
1回答
95浏览
vllm [特性]:在Docker Hub上托管主机CPU的Docker镜像 vllm
Docker eaf3rand5个月前浏览 (95)5个月前
4回答
57浏览
[用法]:如何通过运行benchmark_throughput来测试VLLM吞吐量时更改批处理大小 ```markdown [用法]:如何通过运行benchmark_throughput来测试VLLM吞吐量时更改批处理大小 ``` vllm
其他 2nbm6dog5个月前浏览 (57)5个月前
9回答
48浏览
vllm [Bug]: 部署Phi-3-mini-128k-instructAssert错误 vllm
其他 mbskvtky5个月前浏览 (48)5个月前
1回答
47浏览
vllm [Bug]:尽管在PR #1395中修复了问题，但RAM OOM错误仍然导致480GB MoE模型加载失败, vllm
其他 mwkjh3gx5个月前浏览 (47)5个月前
3回答
40浏览
vllm [用法]:似乎nn.module的定义可能会影响输出的tokens,不知道原因, vllm
其他 fykwrbwg5个月前浏览 (40)5个月前
1回答
40浏览
vllm [性能]:Qwen 7b聊天模型，在128并发下，CPU利用率达到100%,而GPU SM利用率仅为60%-75%,这是CPU瓶颈吗？ vllm
其他 mfuanj7w5个月前浏览 (40)5个月前
1回答
88浏览
[Bug]: 使用neuron运行vllm docker镜像失败 vllm
Docker 91zkwejq5个月前浏览 (88)5个月前
6回答
39浏览
[Bug]: VLLM usage on AWS Inferentia instances vllm
其他 kgqe7b3p5个月前浏览 (39)5个月前
2回答
47浏览
vllm [特性]:需要为非x86架构的CPU提供推理支持 vllm
其他 pokxtpni5个月前浏览 (47)5个月前
2回答
38浏览
vllm [用法]:如何将--max-logprobs设置为LLM的vocab_size的默认长度, vllm
其他 pinkon5k5个月前浏览 (38)5个月前
3回答
38浏览
[Bug]: vllm批量推理报错 vllm
其他 qeeaahzv5个月前浏览 (38)5个月前
8回答
42浏览
[Bug]: 使用vllm+ray分布式推理报错 vllm
其他 vfh0ocws5个月前浏览 (42)5个月前
8回答
43浏览
vllm [Bug]:运行Qwen2-54B-A14B-GPTQ-Int4(MOE)失败 vllm
其他 nxagd54h5个月前浏览 (43)5个月前
2回答
102浏览
vllm [特性]:支持qwen模型的管道并行性 vllm
其他 ih99xse15个月前浏览 (102)5个月前
1回答
112浏览
vllm [新模型]:Codestral Mamba vllm
其他 h22fl7wq5个月前浏览 (112)5个月前
2回答
52浏览
vllm [Bug]: 指标没有改善, vllm
其他 8oomwypt5个月前浏览 (52)5个月前
1回答
56浏览
vllm [新模型]:支持Telechat vllm
其他 jv2fixgn5个月前浏览 (56)5个月前
1回答
123浏览
vllm 安装：Docker镜像(ROCm版本)问题 vllm
Docker hgc7kmma5个月前浏览 (123)5个月前
1回答
46浏览
[Bug]:当获取提示的logprobs时，vLLM服务器崩溃, vllm
其他 jfgube3f5个月前浏览 (46)5个月前
1回答
39浏览
vllm [用法]:我能否将其与分类模型(例如GemmaForSequenceClassification)一起使用？ vllm
其他 mhd8tkvw5个月前浏览 (39)5个月前
2回答
100浏览
vllm [Bug]:引擎迭代超时,这绝不应该发生！ vllm
其他 lymgl2op5个月前浏览 (100)5个月前
3回答
144浏览
vllm [RFC]: 将OpenAI服务器隔离到单独的进程中 vllm
其他 luaexgnf5个月前浏览 (144)5个月前
4回答
39浏览
vllm [RFC]: 性能路线图 vllm
其他 gtlvzcf85个月前浏览 (39)5个月前
1回答
70浏览
vllm [Bug][ROCm] 嵌入层不支持长输入 vllm
其他 bfnvny8b5个月前浏览 (70)5个月前
5回答
119浏览
vllm [杂项]:请求帮助修复Tensor化器测试 vllm
其他 mpbci0fu5个月前浏览 (119)5个月前
5回答
85浏览
vllm [Bug]: AttributeError: 'MiniCPMVConfig' 对象没有 'version' 属性 vllm
其他 oxosxuxt5个月前浏览 (85)5个月前
1回答
60浏览
vllm [Bug]: 收到 "[WARNING shm_broadcast.py:404] 在60秒内未找到可用的块," vllm
其他 c3frrgcw5个月前浏览 (60)5个月前
7回答
88浏览
llama 3 8b型号配备了A10 GPU,在VLLM的情况下出现了OOM问题，但在HF transformer pipeline上表现良好, vllm
其他 2sbarzqh5个月前浏览 (88)5个月前

热门标签

Java query python Node 开发语言 request Util 数据库 Table 后端算法 Logger Message Element Parser

最新问答

xxl-job 安全组扫描到执行器端口服务存在信息泄露漏洞
回答(1) 发布于 3个月前
xxl-job 不能和nacos兼容？
回答(3) 发布于 3个月前
xxl-job 任务执行完后无法结束，日志一直转圈
回答(3) 发布于 3个月前
xxl-job-admin页面上查看调度日志样式问题
回答(1) 发布于 3个月前
xxl-job 参数512字符限制能否去掉
回答(1) 发布于 3个月前