ChatGLM是中文中一个流行的类似ChatGPT的模型：https://github.com/THUDM/ChatGLM-6Bct2是否支持ChatGLM,并加速推理。非常感谢。
vvppvyoh1#
+1
qyzbxkaa2#
你好，根据你的信息，我理解你想让我帮你解决一个问题。但是，你提供的信息不足以让我确定问题的具体情况。请提供更多关于问题的详细信息，例如：
你正在尝试解决什么问题？
你已经尝试了哪些方法？遇到了什么困难？
你能提供一些相关的代码或数据吗？
你期望的结果是什么？
如果你能提供更多关于问题的详细信息，我会尽力帮助你解决问题。
6rvt4ljy3#
你好，@guillaumekln。如果你有时间，能否帮忙看一下转换脚本哪里出了问题？我们将不胜感激。HF仓库：https://huggingface.co/THUDM/chatglm-6b/tree/main
i7uq4tfw4#
好的，让我学习。
mkshixfv5#
ChatGLM并不完全是一个Llama模型。CTranslate2中存在一些尚未(或许？)支持的差异：
position_encoding_2d
我对于PrefixEncoder也不太确定，但它似乎没有被当前模型启用。
PrefixEncoder
6jjcrrmo6#
前缀编码器可以忽略，因为它只在加载额外的p调优参数时才需要。ctranslate2在未来的可预见时间内是否会支持position_encoding_2d?
6条答案
按热度按时间vvppvyoh1#
+1
qyzbxkaa2#
你好，根据你的信息，我理解你想让我帮你解决一个问题。但是，你提供的信息不足以让我确定问题的具体情况。请提供更多关于问题的详细信息，例如：
你正在尝试解决什么问题？
你已经尝试了哪些方法？遇到了什么困难？
你能提供一些相关的代码或数据吗？
你期望的结果是什么？
如果你能提供更多关于问题的详细信息，我会尽力帮助你解决问题。
6rvt4ljy3#
你好，@guillaumekln。如果你有时间，能否帮忙看一下转换脚本哪里出了问题？我们将不胜感激。
HF仓库：https://huggingface.co/THUDM/chatglm-6b/tree/main
i7uq4tfw4#
好的，让我学习。
mkshixfv5#
ChatGLM并不完全是一个Llama模型。CTranslate2中存在一些尚未(或许？)支持的差异：
position_encoding_2d尚未实现我对于
PrefixEncoder也不太确定，但它似乎没有被当前模型启用。6jjcrrmo6#
前缀编码器可以忽略，因为它只在加载额外的p调优参数时才需要。ctranslate2在未来的可预见时间内是否会支持position_encoding_2d?