\n\n你好，注意到33B模型的预训练语料长度是512。如果在这个基础上进行继续指令finetune,并且finetune数据长度大于512,会有影响吗？
44u64gxh1#
请问您现在对这个问题有答案了吗
cmssoen22#
没有影响...
发件人： parkLGW ***@***.***> 发送时间： 2023年7月21日，星期五，下午5:22:07 PM收件人： CVI-SZU/Linly ***@***.***> 抄送： Subscribed ***@***.***> 主题： 回复： [CVI-SZU/Linly] 关于33B模型预训练语料长度 (Issue #96) 请问您现在对这个问题有答案了吗 ― 直接回复此电子邮件，查看GitHub上的讨论<#96 (评论)>,或取消订阅< https://github.com/notifications/unsubscribe-auth/AE3SPV4MQJPWOR4UMXW5TE3XRJC37ANCNFSM6AAAAAAYWX4X2U >。您收到此邮件是因为您订阅了这个主题。消息ID: ***@***.***>
2条答案
按热度按时间44u64gxh1#
请问您现在对这个问题有答案了吗
cmssoen22#
没有影响...
发件人： parkLGW ***@***.***> 发送时间： 2023年7月21日，星期五，下午5:22:07 PM
收件人： CVI-SZU/Linly ***@***.***> 抄送： Subscribed ***@***.***> 主题： 回复： [CVI-SZU/Linly] 关于33B模型预训练语料长度 (Issue #96) 请问您现在对这个问题有答案了吗 ― 直接回复此电子邮件，查看GitHub上的讨论<#96 (评论)>,或取消订阅< https://github.com/notifications/unsubscribe-auth/AE3SPV4MQJPWOR4UMXW5TE3XRJC37ANCNFSM6AAAAAAYWX4X2U >。您收到此邮件是因为您订阅了这个主题。消息ID: ***@***.***>