功能描述
能否在日志中增加完整的请求消息和响应内容,以便于后期分析优化提示语,并将响应结果作为二次训练的语料。当前日志中的数据只保存了token数量,并没有完整记录会话的消息。因为分析优化提示语,以及二次蒸馏GPT4的回答来微调AI也是非常常见的需求,希望贵团队能够增加这项功能,可以把这项功能作为可选。我自己用Java实现过一个简单的API代理和私发token的功能,此项功能也并不复杂。但看到贵团队的成果后,感觉贵团队的产品更加完善,所以希望one-api的产品能更加完善。
应用场景
- 支持one-api本身或者第三方应用查看历史会话记录;
- 提示语分析,提炼优质提示语,进而衍生出提示语超市;
- 响应内容蒸馏,将优质响应内容作为AI训练语料,用于微调和训练小模型;
- 向ope-api团队贡献会话历史,使用者可以选择将会话历史分享到贵团队的服务器,贵团队也可以收集优质会话数据来产生经济价值。
3条答案
按热度按时间fslejnso1#
找到相关 #28
@songquanpeng : 暂不考虑记录用户调用内容和返回内容了。
请问不考虑记录用户调用内容和返回内容的原因是什么
cu6pst1q2#
主要原因是大部分人不需要,其次是隐私问题。如果确实需要这个功能,请加入群聊并私聊。
khbbv19g3#
有需要的人可以给此issue点个👍,这样我们可以估计有多少用户需要这个功能。
其次关于隐私问题,即使one-api没有这个功能,用户也应该意识到使用第三方API中转服务有可能会被记录msg内容以及响应choices。事实上据我了解,多家API中转商(包括我自己)都会记录请求内容和返回结果内容。因此不是one-api没有这个功能就能避免隐私问题。