在转换模型时，我将量化设置为'int8',但我注意到转换后的模型在BLEU方面性能降低了5分。因此，我想请问在执行量化时是否有任何需要特别注意的事项？命令：ct2-fairseq-converter --model_path . --quantization int8 -output_dir .环境：ctranslate2=3.14.0fairseq=0.10.2
km0tfn4u1#
量化可能会导致性能下降，但对于标准的编码器-解码器Transformer(小于1 BLEU),这种影响通常非常小。你是将BLEU分数与未量化的Fairseq模型还是与CTranslate2模型进行比较？请注意，CTranslate2使用的默认束搜索大小与Fairseq不同：https://opennmt.net/CTranslate2/guides/fairseq.html#beam-search-equivalence
gkn4icbw2#
量化可能会导致性能下降，但对于标准的编码器-解码器Transformer(小于1 BLEU),这种影响通常非常小。你是将BLEU分数与未量化的Fairseq模型还是与CTranslate2模型进行比较？请注意，CTranslate2使用的默认束搜索大小与Fairseq不同：https://opennmt.net/CTranslate2/guides/fairseq.html#beam-search-equivalence是的，我已经将Fairseq模型的BLEU分数与使用量化float16的CTranslate2模型进行了比较，并发现结果令人满意(小于1 BLEU)。
2条答案
按热度按时间km0tfn4u1#
量化可能会导致性能下降，但对于标准的编码器-解码器Transformer(小于1 BLEU),这种影响通常非常小。
你是将BLEU分数与未量化的Fairseq模型还是与CTranslate2模型进行比较？请注意，CTranslate2使用的默认束搜索大小与Fairseq不同：
https://opennmt.net/CTranslate2/guides/fairseq.html#beam-search-equivalence
gkn4icbw2#
量化可能会导致性能下降，但对于标准的编码器-解码器Transformer(小于1 BLEU),这种影响通常非常小。
你是将BLEU分数与未量化的Fairseq模型还是与CTranslate2模型进行比较？请注意，CTranslate2使用的默认束搜索大小与Fairseq不同：
https://opennmt.net/CTranslate2/guides/fairseq.html#beam-search-equivalence
是的，我已经将Fairseq模型的BLEU分数与使用量化float16的CTranslate2模型进行了比较，并发现结果令人满意(小于1 BLEU)。