solr导入MySql数据

x33g5p2x  于2021-12-20 转载在 其他  
字(2.7k)|赞(0)|评价(0)|浏览(584)

1  概述

大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置 的方式向solr导入数据,可以一次全部导入,也可以增量导入。  

能够读取关系数据库中的数据。 

通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档   

能够通过solr文档更新solr 

提供 通过配置文件就能够导入所有数据的能力 

能够配置 “完全导入”和“增量导入”的时间 

让读取xml文件,并建立索引成为可配置。 

能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。

2  配置资源数据

solr提供了2种方式来上传数据:

  • 命令行方式
  • 控制台界面

在solr目录下: solr\example\exampledocs下有一个post.jar,该jar提供了导入相关命令,下面主要记录通过控制台界面或者命令行的方式进行导入配置;

2.1     导入数据库

2.1.1   添加jar

solr 连接数据 需要两个jar 

分别是solr连接mysql的Jar,一个是mysql驱动Jar;

进入solr-5.5.0/dist 文件夹中

1)、将solr-dataimporthandler-5.5.4.jar,solr-dataimporthandler-extras-5.5.4.jar拷贝到solr\server\solr-webapp\webapp\WEB-INF\lib目录下;

2)、将mysql-connector-java-5.0.8-bin.jar拷贝到\solr\server\lib目录下;

数据库表结构:

2.1.2   配置数据库

进入solr\server\solr目录创建核心core目录,增加conf和data目录(关于如何新增的可以看之前写的安装配置文档)

在conf中

1、修改solrconfig.xml文件,新增:

<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">  
         <lst name="defaults">  
               <strname="config">data-config.xml</str>  
         </lst>  
</requestHandler>

2、新增data-config.xml文件,内容如下:

<dataConfig>
   <dataSource type="JdbcDataSource"driver="com.mysql.jdbc.Driver"url="jdbc:mysql://localhost:3306/solr" user="root"password="root"/>
   <document>
       <entity name="check_lawyer"
           query="select id, name from solr_user">
           <field column="id" name="id" />
           <field column="name" name="name" />
       </entity>
   </document>
</dataConfig>

说明:

field区域当中的column对应数据库中的列,而name就是solr中显示的名称。

3、修改managed-schema文件,在最后新增:

<field name="content"type="string" indexed="true" stored="true"multiValued="false"/>

配置完成后,重启solr,选择Dataimport可以看到导入界面:

2.1.3   导入

Solr提供了full-importdelta-import两种导入方式

full-import:

多个entity,每个entity有各自的last_index_time,可以通过dataimporter.entityname.last_index_time来取各自的最后更新时间来进行增量更新。

多个entity时,进行full-import时指明导入某个entity,

http://localhost:8088/solr-platform/zbs-core/dataimport?entity=zcx&command=full-import.会把之前创建的索引通通删除(包括其他ENTITY创建的索引)重新建,,加上参数clean = false;但也会删除相同id的(在scheam.xml的uniqueKey声明的)

delta-import

主要是对于数据库(也可能是文件等等)中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件,此文件里面有最近一次导入的相关信息。这个文件如下:

#Tue Jun 06 12:55:58 UTC 2017
last_index_time=2017-06-0612\:55\:57
check_lawyer.last_index_time=2017-06-0612\:55\:57

** **

其实last_index_time是最近一次索引(full-import或者delta-import)的时间。

通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。

** **

选择Execute之后开始导入,可以选择RefreshStatus状态查看导入状态:

Entity下拉框中可以选择data-config.xml中配置的entity,为空时导入所有entity;

** **

** 

**

至此solr连接mysql导入完成,以上是通过平台控制界面来实现导入的,除了界面操作之外还可以使用命令的方式导入,在这里就不细说了,相关可以搜索
localhost:8983/solr/dataimport?command=full-import 

上一篇:solr Java测试

相关文章