我正在从相同的提示生成多个样本，就像自一致的思维链(CoT)一样。我已经训练了一个单独的评估头(使用与LLM生成器相同的 Backbone ),以评估每个样本的质量。由于没有返回隐藏状态的选项，我需要执行额外的前向传播来获取它们。当VLLM生成样本时，大部分计算工作已经完成。如果实现这个选项，有人能告诉我应该关注源代码中的哪些部分吗？任何建议都将不胜感激。谢谢！
ui7jx7zq1#
如果有人能给我指明方向，告诉我应该查看代码库的哪个部分，我就可以着手处理这个问题。
hsgswve42#
你好，@zhenlan0426,你在这个项目上有什么进展吗？我还需要将隐藏状态作为generate()方法输出的一部分。
看起来隐藏状态存储在推理代码中：https://github.com/vllm-project/vllm/blob/c2462129521a64b62ace77b28641d2e3bec5831c/vllm/worker/model_runner.py#L774C17-L774C37
2条答案
按热度按时间ui7jx7zq1#
如果有人能给我指明方向，告诉我应该查看代码库的哪个部分，我就可以着手处理这个问题。
hsgswve42#
你好，@zhenlan0426,你在这个项目上有什么进展吗？我还需要将隐藏状态作为generate()方法输出的一部分。
看起来隐藏状态存储在推理代码中：
https://github.com/vllm-project/vllm/blob/c2462129521a64b62ace77b28641d2e3bec5831c/vllm/worker/model_runner.py#L774C17-L774C37