在Github仓库：https://github.com/the-crypt-keeper/can-ai-code/tree/main,来自@the-crpyt-keeper的WizardCoder被使用ctranslate2进行了调查。8/08 Added cformers2 support and evaluated michaelfeil/ct2fast-WizardCoder-15B-V1.0 it seems this runtime may have a problem with it's nucleus sampler, precise settings hurt the results far more then they should.
是否可以对此进行更详细的调查？
3条答案
按热度按时间wfveoks01#
问题似乎来自重复惩罚。与其他实现相比，结果差异很大。然而，实现似乎还不错，至少对于惩罚本身来说。
fae0ux8s2#
你能提供一种重现问题的方法吗？如果你能指定要使用的确切模型、输入和生成参数，那就太好了。
vjrehmav3#
以下是文本内容的翻译结果：
在下面的git项目问题中有更多信息：the-crypt-keeper/can-ai-code#75
要重现整个过程：
prepare.py --template prompts/Wizard-Coder.txt创建提示./interview_cuda.py --runtime ctranslate2 --model_name michaelfeil/ct2fast-WizardCoder-15B-V1.0 --params params/**.json --input results/prepare_junior-v2_python-javascript_Wizard-Coder.ndjson创建运行时对于参数：
--runtime更改为transformers,vllm,autogptq等并不会显示下降。(需要不同的模型：WizardLM/WizardCoder-15B-V1.0)*ctranslate2库中惩罚的计算似乎没问题。我不知道错误来自哪里。
谢谢，如果需要其他任何东西，请告诉我。