CTranslate2 支持"mlp"特征合并嵌入的计划?

js5cn81o  于 2个月前  发布在  其他
关注(0)|答案(2)|浏览(64)

尝试将一个使用"mlp"作为嵌入的变压器模型从OpenNMT-py转换,但MLP尚未纳入转换中,因此我认为它在CTranslate2中不受支持。

onmt_release_model --model ./saves/model_step_52000.pt --format ctranslate2 --quantization int8 --output ./ct2
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\runpy.py", line 197, in _run_module_as_main
    return _run_code(code, main_globals, None,
  File "C:\ProgramData\Anaconda3\lib\runpy.py", line 87, in _run_code
    exec(code, run_globals)
  File "C:\ProgramData\Anaconda3\Scripts\onmt_release_model.exe\__main__.py", line 7, in <module>
  File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\onmt\bin\release_model.py", line 30, in main
    converter.convert(opt.output, force=True,
  File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\converter.py", line 89, in convert
    model_spec = self._load()
  File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\opennmt_py.py", line 175, in _load
    return _get_model_spec_seq2seq(
  File "C:\Users\admin\AppData\Roaming\Python\Python39\site-packages\ctranslate2\converters\opennmt_py.py", line 81, in _get_model_spec_seq2seq
    embeddings_merge=_SUPPORTED_FEATURES_MERGE[feat_merge],
KeyError: 'mlp'

我想通过试错法比较mlp和普通连接(concat)的效果,以了解它们可能对结果产生的影响,因为它们似乎很有前途。

envsm3lx

envsm3lx1#

因为它们似乎很有前途。
你有什么结果要分享吗?我认为在大多数情况下,“concat”已经足够好了。

oyxsuwqo

oyxsuwqo2#

我无法实际测试它,但我可以使用OpenNMT-py进行一些实验和比较。我没有测试它的原因是因为我的整个测试流程都在CTranslate2中 - 发现"mlp"嵌入是一个有趣的概念,当我发现它们时,因此我的好奇心。

相关问题