ludwig 当使用gpt2bpe分词器时,Torchtext出现未定义模块错误,

ogsagwnx  于 2个月前  发布在  其他
关注(0)|答案(1)|浏览(14)

当我尝试使用gpt2bpe分词器时,我得到了一个错误:“module torchtext没有属性util”。

通过在ludwig/utils/tokenizers.py中添加

import torchtext.utils
import torchtext.transforms

来修复。

rekjcdws

rekjcdws1#

@jhudsy 你想用你的修复来创建一个pull request吗?非常感谢。

相关问题