首页 > 全文索引 > 全文索引服务solr入门四之solr集群搭建与应用

全文索引服务solr入门四之solr集群搭建与应用

经过前面几篇文章的努力,我们的solr服务终于跑起来了,可以对外提供服务了,虽然有一点小瑕疵(对中文支持不是很好,但可以通过IK分词来解决,示例可以看老夫之前的这篇文章),但还是存在一个致命的问题:单点!对于现代互联网公司,这个一个不可忍受的缺点,所以本节我们就来解决这个问题,在搭建集群之前,我们先看看要搭建的集群的目标:

goal

从这张图上,我们可以清晰看到我们需要三台zookeeper服务器和四台solr服务器,一共七台服务器(实际上老夫去哪找那么多集群,所以使用伪分布式的方式搭建集群,即在同一台服务器上创建多个实例模拟集群),确定了目标之后,我们就开始搭建我们的集群。

四. zookeeper集群搭建

Zookeeper有一个选举机制,选举谁是leader谁是follower。成为主节点,需要得到半数以上的投票。尽可能为奇数节点。

1. 创建三个zookeeper实例
2. 在zookeeper1、2、3文件夹下分别创建一个data目录。在data目录下创建一个myid的文件。文件的内容zookeeper1下就是1,zookeeper2下就是2,zookeeper3下就是3。
3. 需要修改zookeeper的配置文件。把Zookeeper1confzoo_sample.cfg改名为zoo.cfg(示例有误,配置文件中的dataDir路径需要使用“/”而不是“”)

config

4. 启动zookeeper。

start

启动成功之后:

startsucess

5. 启动zookeeper的客户端,测试zookeeper是否好用。

client

五. Solr实例搭建

需要4个solr实例来完成。
第一步:创建4个tomcat实例
第二步:搭建4个solr的单机版环境(该系列的前几篇就写这个了)。

从复制过来的单机版:
1. 修改tomcat的端口号。
2. 修改solrhome的位置。修改web.xml

六. 集群搭建

1. 搭建步骤

①. 让zookeeper集群集中管理配置文件。把配置文件上传到zookeeper。
把solrhome/collection1/conf文件夹的内容上传到zookeeper集群。
把:D:tempSolrCloudsolrhome1collection1conf上传。
命令:


java -classpath D:tempSolrCloudtomcat1webappssolrWEB-INFlib/* org.apache.solr.cloud.ZkCLI -zkhost 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 -cmd upconfig -confdir D:tempSolrCloudsolrhome1collection1conf -confname myconf

需要保证执行命令之前,zookeeper集群是启动状态。

2. 查看zookeeper下的配置文件。

cloud

3. 修改每个solrhome下的solr.xml文件。

cloudconfig

4. 告诉每个solr实例zookeeper集群的位置。
修改每一台solr的tomcat 的 bin目录下catalina.bat文件中加入DzkHost指定zookeeper服务器地址:


set JAVA_OPTS="-DzkHost=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183"

5. 启动所有tomcat
6. 访问solr服务

solr

7. 创建有两片的collection。在浏览器的url中输入如下内容:
http://127.0.0.1:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

collection

8. 删除collection1(之前单机版的时候创建的)
http://127.0.0.1:8080/solr/admin/collections?action=DELETE&name=collection1

delcollection

删除之后,就是这个样子:

collections

七. 集群的使用

1. 后台的管理功能和单机版完全一致,如下图,所以略过。

admin

2. 使用solrJ管理solr集群

①. 添加集群


    @Test
    public void addDocument() throws Exception {
	//使用SolrJ连接集群
	//参数:zkHost是一个zookeeper集群列表
	String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183";
	CloudSolrServer solrServer = new CloudSolrServer(zkHost);
	//设置默认的collection
	solrServer.setDefaultCollection("collection2");
	//创建一个文档对象
	SolrInputDocument document = new SolrInputDocument();
	document.setField("id", "a001");
	document.setField("title", "测试文档");
	//把文档提交到索引库
	solrServer.add(document);
	//提交修改
	solrServer.commit();
	
    }

②. 导入数据库数据到solr集群


    @Test
    public void importAllItems() throws Exception {
	//创建solrJ客户端
	String zkHost = "127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183";
	CloudSolrServer solrServer = new CloudSolrServer(zkHost);
	//设置默认的collection
	solrServer.setDefaultCollection("collection2");
	//使用JDBC连接数据库
	Connection connection = null;
	PreparedStatement preparedStatement = null;
	ResultSet resultSet = null;
	//加载数据库驱动
	Class.forName("com.mysql.jdbc.Driver");
	//创建数据库连接
	connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/solr", "root", "root");
	//sql语句
	String sql = "select * from products";
	//创建preparedStatement
	preparedStatement = connection.prepareStatement(sql);
	//执行查询
	resultSet = preparedStatement.executeQuery();
	//向solr中导入数据
	while(resultSet.next()) {
		//创建一个文档对象
		SolrInputDocument document = new SolrInputDocument();
		document.addField("id", resultSet.getString("pid"));
		document.addField("name", resultSet.getString("name"));
		document.addField("category", resultSet.getString("catalog_name"));
		document.addField("price", resultSet.getString("price"));
		document.addField("content", resultSet.getString("description"));
		document.addField("url", resultSet.getString("picture"));
		//向solr中添加记录
		solrServer.add(document);
	}
	//提交修改
	solrServer.commit();
	System.out.println("数据导入完成!");
    }

③. 和spring集成

看到上一篇文章里面,springmvc.xml配置文件了吧,小改一下就好了

cloudspring

至此,我们一个完整版的solr集群服务终于完成了,好了,程序猿们你们可以回家睡觉了。

分享到:
作 者: BridgeLi,http://www.bridgeli.cn/
原文链接:https://www.bridgeli.cn/archives/301
版权声明:非特殊声明均为本站原创作品,转载时请注明作者和原文链接。
分类: 全文索引 标签: , , ,
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.