vllm [特性]:支持Mirostat、动态温度和二次采样

cwtwac6a  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(25)

🚀 功能、动机和宣传

是否有可能添加以下支持:

  1. Mirostat:自适应采样以维持目标困惑度,通过实时调整采样策略来确保一致的生成质量。
  2. 动态温度:根据某些标准动态调整温度,使模型能够根据上下文或用户输入动态调整创造力和连贯性。
  3. 二次采样:一种改进输出多样性和质量的替代采样方法,提供更细致和多样化的文本生成,提高整体用户体验。
    这些功能将增强模型的灵活性和输出质量,使其在更广泛的应用范围内更具通用性和有效性。
    如果这些功能尚未得到支持,是否有可能在即将到来的路线图中包含它们?

备选方案

  • 无响应*

附加背景信息

  • 无响应*
6ie5vjzr

6ie5vjzr1#

我很喜欢这个。如果有提示或建议,我会非常感激。

gr8qqesn

gr8qqesn2#

你好,我也是一个对这个功能请求感兴趣的学生。你能提供一些相关的工作来跟进吗?😂

相关问题