中文分词器有多中,常用的有IKAnalyzer、mmseg4j。
引用:
前者最新版本更新到2012年,所以使用的时候要注意可能版本上有不兼容的情况,由于它是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。在2012版本中,IK实现了简单的分词歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化**。**
使用方法。
主要记录以下mmseg4j的配置,关于mmseg4j介绍:http://www.oschina.net/p/mmseg4j?fromerr=Gtaj9S9O
使用通常的solr系统提供的分词,可以看到会将字符串切割成每一个词,它把每一个词都分开了,可以预计如果一篇文章这样分词的搜索的体验效果非常差。所以分词器的提供可以对此进行优化。
下载地址:https://github.com/chenlb/mmseg4j-solr
可以将源码下载后自行编译成jar
或者使用maven直接下载jar
<dependency>
<groupId>com.chenlb.mmseg4j</groupId>
<artifactId>mmseg4j-solr</artifactId>
<version>2.4.0</version>
</dependency>
将下载的mmseg4j-core-1.10.0.jar、mmseg4j-solr-2.4.0.jar拷贝到solr的lib目录下,
如:G:\solr\server\solr-webapp\webapp\WEB-INF\lib
修改managed-schema文件,新增:
<!-- mmseg4j-->
<fieldTypename="text_mmseg4j_complex" class="solr.TextField"positionIncrementGap="100" >
<analyzer>
<tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="complex" dicPath="dic"/>
</analyzer>
</fieldType>
<fieldTypename="text_mmseg4j_maxword" class="solr.TextField"positionIncrementGap="100" >
<analyzer>
<tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="max-word" dicPath="dic"/>
</analyzer>
</fieldType>
<fieldTypename="text_mmseg4j_simple" class="solr.TextField"positionIncrementGap="100" >
<analyzer>
<!--
<tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="simple" dicPath="n:/OpenSource/apache-solr-1.3.0/example/solr/my_dic"/>
-->
<tokenizerclass="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"mode="simple" dicPath="dic"/>
</analyzer>
</fieldType>
<!-- mmseg4j-->
再新增Field:
<!-- mmseg4j -->
<field name="mmseg4j_complex"type="text_mmseg4j_complex" indexed="true"stored="true"/>
<field name="mmseg4j_maxword"type="text_mmseg4j_maxword" indexed="true"stored="true"/>
<field name="mmseg4j_simple"type="text_mmseg4j_simple" indexed="true"stored="true"/>
<!--mmseg4j -->
说明:dicPath 用于自定义词库,mmseg4j的jar包里面已经包含,可以删除dicPath配置
以上配置完成后,停止solr,并重启
Solr.cmd stop –all
Solr.cmd start
进入控制台Analysis,可以看到分词已经基本根据语意去分隔了,如下图:
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/vtopqx/article/details/73457643
内容来源于网络,如有侵权,请联系作者删除!