无法将使用alibi或旋转嵌入的opennmt.py模型转换为ctranslate2,

czq61nw1  于 2个月前  发布在  其他
关注(0)|答案(7)|浏览(56)

当我使用max_relative_positions: -1max_relative_positions: -2时,我会遇到这个错误。

w9apscun

w9apscun1#

你使用的OpenNMT-py的版本或代码库是什么?
看起来你同时使用了position_encoding=True和max_relative_position不等于0,
现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302

xytpbqjk

xytpbqjk2#

你使用的OpenNMT-py的版本或代码库是什么?看起来你同时使用了position_encoding=True和max_relative_position不等于0,现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302
在编写时的主版本。
position_encoding: false

xxb16uws

xxb16uws3#

当max_relative_position = 20时,转换正常,但当max_relative_position为-1或-2时,会失败。

z5btuh9x

z5btuh9x4#

我看到您正在尝试转换一个编码器-解码器模型(_get_model_spec_seq2seq在堆栈跟踪中),但转换器目前无法处理这些模型的max_relative_positions: -1max_relative_positions: -2

tyky79it

tyky79it5#

我看到您正在尝试转换一个编码器-解码器模型(_get_model_spec_seq2seq 是堆栈跟踪),但转换器目前无法处理这些模型的 max_relative_positions: -1max_relative_positions: -2
是的。好的,只是想测试一下这些新的nmt任务选项。无论如何,旧选项还是很好用的)

a7qyws3x

a7qyws3x6#

你仍然可以使用常规的opennmt-py推理来评估你的模型,我也对这样的结果感兴趣。如果有意义的话,我们将在编码器/解码器配置中添加这些选项。

uklbhaso

uklbhaso7#

至少,我使用以下选项进行了测试:add_ffnbias: false, multiquery: true, add_qkvbias: false。我还添加了其他层以确保模型具有相同或更多的参数。然而,它的表现比标准选项差。

相关问题