为jieba.posseg增加cut_all选项允许全模式下词性标注

afdcj2ne 于 2022-10-26 发布在其他

关注(0)|答案(4)|浏览(149)

建议为jieba.posseg增加cut_all选项，允许采用全模式分词状态下再进行词性标注以得到更全的结果

4条答案

我也需要啊，现在还没有这个api？

同需要，求大佬开发

提出一种暂时的替代方案，先用全模式分词，再输入到词性标注分词器里（用空格隔开），最后去掉空格

seg_list = jieba.cut("我来到北京清华大学", cut_all=True, HMM=True)
full_mode_sentence = " ".join(seg_list)

words = pseg.cut(full_mode_sentence, HMM=True)
for word, flag in words:
if word != ' ':
print('%s %s' % (word, flag))

提出一种暂时的替代方案，先用全模式分词，再输入到词性标注分词器里（用空格隔开），最后去掉空格

seg_list = jieba.cut("我来到北京清华大学", cut_all=True, HMM=True)
full_mode_sentence = " ".join(seg_list)

words = pseg.cut(full_mode_sentence, HMM=True)
for word, flag in words:
if word != ' ':
print('%s %s' % (word, flag))

逻辑鬼才