我正在从相同的提示生成多个样本,就像自一致的思维链(CoT)一样。我已经训练了一个单独的评估头(使用与LLM生成器相同的 Backbone ),以评估每个样本的质量。由于没有返回隐藏状态的选项,我需要执行额外的前向传播来获取它们。当VLLM生成样本时,大部分计算工作已经完成。如果实现这个选项,有人能告诉我应该关注源代码中的哪些部分吗?任何建议都将不胜感激。谢谢!
ui7jx7zq1#
如果有人能给我指明方向,告诉我应该查看代码库的哪个部分,我就可以着手处理这个问题。
hsgswve42#
你好,@zhenlan0426,你在这个项目上有什么进展吗?我还需要将隐藏状态作为generate()方法输出的一部分。
看起来隐藏状态存储在推理代码中:https://github.com/vllm-project/vllm/blob/c2462129521a64b62ace77b28641d2e3bec5831c/vllm/worker/model_runner.py#L774C17-L774C37
2条答案
按热度按时间ui7jx7zq1#
如果有人能给我指明方向,告诉我应该查看代码库的哪个部分,我就可以着手处理这个问题。
hsgswve42#
你好,@zhenlan0426,你在这个项目上有什么进展吗?我还需要将隐藏状态作为generate()方法输出的一部分。
看起来隐藏状态存储在推理代码中:
https://github.com/vllm-project/vllm/blob/c2462129521a64b62ace77b28641d2e3bec5831c/vllm/worker/model_runner.py#L774C17-L774C37