当我使用max_relative_positions: -1或max_relative_positions: -2时,我会遇到这个错误。
max_relative_positions: -1
max_relative_positions: -2
w9apscun1#
你使用的OpenNMT-py的版本或代码库是什么?看起来你同时使用了position_encoding=True和max_relative_position不等于0,现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302
xytpbqjk2#
你使用的OpenNMT-py的版本或代码库是什么?看起来你同时使用了position_encoding=True和max_relative_position不等于0,现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302在编写时的主版本。position_encoding: false
xxb16uws3#
当max_relative_position = 20时,转换正常,但当max_relative_position为-1或-2时,会失败。
z5btuh9x4#
我看到您正在尝试转换一个编码器-解码器模型(_get_model_spec_seq2seq在堆栈跟踪中),但转换器目前无法处理这些模型的max_relative_positions: -1或max_relative_positions: -2。
_get_model_spec_seq2seq
tyky79it5#
我看到您正在尝试转换一个编码器-解码器模型(_get_model_spec_seq2seq 是堆栈跟踪),但转换器目前无法处理这些模型的 max_relative_positions: -1 或 max_relative_positions: -2。是的。好的,只是想测试一下这些新的nmt任务选项。无论如何,旧选项还是很好用的)
a7qyws3x6#
你仍然可以使用常规的opennmt-py推理来评估你的模型,我也对这样的结果感兴趣。如果有意义的话,我们将在编码器/解码器配置中添加这些选项。
uklbhaso7#
至少,我使用以下选项进行了测试:add_ffnbias: false, multiquery: true, add_qkvbias: false。我还添加了其他层以确保模型具有相同或更多的参数。然而,它的表现比标准选项差。
7条答案
按热度按时间w9apscun1#
你使用的OpenNMT-py的版本或代码库是什么?
看起来你同时使用了position_encoding=True和max_relative_position不等于0,
现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302
xytpbqjk2#
你使用的OpenNMT-py的版本或代码库是什么?看起来你同时使用了position_encoding=True和max_relative_position不等于0,现在已经测试过并避免了这个问题:https://github.com/OpenNMT/OpenNMT-py/blame/master/onmt/utils/parse.py#L302
在编写时的主版本。
position_encoding: false
xxb16uws3#
当max_relative_position = 20时,转换正常,但当max_relative_position为-1或-2时,会失败。
z5btuh9x4#
我看到您正在尝试转换一个编码器-解码器模型(
_get_model_spec_seq2seq
在堆栈跟踪中),但转换器目前无法处理这些模型的max_relative_positions: -1
或max_relative_positions: -2
。tyky79it5#
我看到您正在尝试转换一个编码器-解码器模型(
_get_model_spec_seq2seq
是堆栈跟踪),但转换器目前无法处理这些模型的max_relative_positions: -1
或max_relative_positions: -2
。是的。好的,只是想测试一下这些新的nmt任务选项。无论如何,旧选项还是很好用的)
a7qyws3x6#
你仍然可以使用常规的opennmt-py推理来评估你的模型,我也对这样的结果感兴趣。如果有意义的话,我们将在编码器/解码器配置中添加这些选项。
uklbhaso7#
至少,我使用以下选项进行了测试:add_ffnbias: false, multiquery: true, add_qkvbias: false。我还添加了其他层以确保模型具有相同或更多的参数。然而,它的表现比标准选项差。