ChatGLM是中文中一个流行的类似ChatGPT的模型:https://github.com/THUDM/ChatGLM-6Bct2是否支持ChatGLM,并加速推理。非常感谢。
vvppvyoh1#
+1
qyzbxkaa2#
你好,根据你的信息,我理解你想让我帮你解决一个问题。但是,你提供的信息不足以让我确定问题的具体情况。请提供更多关于问题的详细信息,例如:
你正在尝试解决什么问题?
你已经尝试了哪些方法?遇到了什么困难?
你能提供一些相关的代码或数据吗?
你期望的结果是什么?
如果你能提供更多关于问题的详细信息,我会尽力帮助你解决问题。
6rvt4ljy3#
你好,@guillaumekln。如果你有时间,能否帮忙看一下转换脚本哪里出了问题?我们将不胜感激。HF仓库:https://huggingface.co/THUDM/chatglm-6b/tree/main
i7uq4tfw4#
好的,让我学习。
mkshixfv5#
ChatGLM并不完全是一个Llama模型。CTranslate2中存在一些尚未(或许?)支持的差异:
position_encoding_2d
我对于PrefixEncoder也不太确定,但它似乎没有被当前模型启用。
PrefixEncoder
6jjcrrmo6#
前缀编码器可以忽略,因为它只在加载额外的p调优参数时才需要。ctranslate2在未来的可预见时间内是否会支持position_encoding_2d?
6条答案
按热度按时间vvppvyoh1#
+1
qyzbxkaa2#
你好,根据你的信息,我理解你想让我帮你解决一个问题。但是,你提供的信息不足以让我确定问题的具体情况。请提供更多关于问题的详细信息,例如:
你正在尝试解决什么问题?
你已经尝试了哪些方法?遇到了什么困难?
你能提供一些相关的代码或数据吗?
你期望的结果是什么?
如果你能提供更多关于问题的详细信息,我会尽力帮助你解决问题。
6rvt4ljy3#
你好,@guillaumekln。如果你有时间,能否帮忙看一下转换脚本哪里出了问题?我们将不胜感激。
HF仓库:https://huggingface.co/THUDM/chatglm-6b/tree/main
i7uq4tfw4#
好的,让我学习。
mkshixfv5#
ChatGLM并不完全是一个Llama模型。CTranslate2中存在一些尚未(或许?)支持的差异:
position_encoding_2d
尚未实现我对于
PrefixEncoder
也不太确定,但它似乎没有被当前模型启用。6jjcrrmo6#
前缀编码器可以忽略,因为它只在加载额外的p调优参数时才需要。ctranslate2在未来的可预见时间内是否会支持position_encoding_2d?