one-api 能否在日志中增加完整的请求消息和响应选择,以便后期分析优化提示语,并将响应结果作为二次训练的语料?

brccelvz  于 1个月前  发布在  其他
关注(0)|答案(3)|浏览(21)

功能描述
能否在日志中增加完整的请求消息和响应内容,以便于后期分析优化提示语,并将响应结果作为二次训练的语料。当前日志中的数据只保存了token数量,并没有完整记录会话的消息。因为分析优化提示语,以及二次蒸馏GPT4的回答来微调AI也是非常常见的需求,希望贵团队能够增加这项功能,可以把这项功能作为可选。我自己用Java实现过一个简单的API代理和私发token的功能,此项功能也并不复杂。但看到贵团队的成果后,感觉贵团队的产品更加完善,所以希望one-api的产品能更加完善。

应用场景

  1. 支持one-api本身或者第三方应用查看历史会话记录;
  2. 提示语分析,提炼优质提示语,进而衍生出提示语超市;
  3. 响应内容蒸馏,将优质响应内容作为AI训练语料,用于微调和训练小模型;
  4. 向ope-api团队贡献会话历史,使用者可以选择将会话历史分享到贵团队的服务器,贵团队也可以收集优质会话数据来产生经济价值。
fslejnso

fslejnso1#

找到相关 #28
@songquanpeng : 暂不考虑记录用户调用内容和返回内容了。
请问不考虑记录用户调用内容和返回内容的原因是什么

cu6pst1q

cu6pst1q2#

主要原因是大部分人不需要,其次是隐私问题。如果确实需要这个功能,请加入群聊并私聊。

khbbv19g

khbbv19g3#

有需要的人可以给此issue点个👍,这样我们可以估计有多少用户需要这个功能。

其次关于隐私问题,即使one-api没有这个功能,用户也应该意识到使用第三方API中转服务有可能会被记录msg内容以及响应choices。事实上据我了解,多家API中转商(包括我自己)都会记录请求内容和返回结果内容。因此不是one-api没有这个功能就能避免隐私问题。

相关问题