Haproxy+多台MySQL从服务器(Slave)实现负载均衡

Haproxy+多台MySQL从服务器(Slave)实现负载均衡2015-08-28本系统采用MySQL一主多从模式设计，即1台MySQL“主”服务器(Master)+多台“从”服务器(Slave)，“从”服务器之间通过Haproxy进行负载均衡，对外只提供一个访问IP，当程序需要访问多台从服务器时，只需要访问Haproxy，再由Haproxy将请求分发到各个数据库节点。我们的程序可以有俩个数据源(DataSourceA,DataSourceB)，一个(DataSourceA)直接连接主库，另外一个(DataSourceB)连接Haproxy，当需要写入操作时可以使用DataSourceA，读取时使用DataSourceB。设计图如下：看到这里大家可能会有一个疑问，这个问题就是主从数据库之间数据同步延时的问题！因为大多数使用MySQL主从同步数据都是异步的，也就是说当主库的数据发生变化时并不能立即的更新从库，这么做的目的也是为了更好的性能，那么设想一下，当用户新增一条记录后立刻去从库查询，可能并不能查到刚刚新增的数据，这岂不是很脑裂的问题~~~。然而实际情况并不应该是这样的，我们也不应该这样去设计程序，我们就拿一个类似于CSND博客管理的系统来说，假设一个“博客系统”只有俩部分，一部分是博客管理后台，用户可以在后台新增，编辑，删除博客。另一部分是门户网站，负责展示所有用户的博客信息，相对于这样一个系统来说，后台管理模块对数据库的操作压力不是很大，相反门户网站读取博客信息对数据库的压力很大，这也式一般互联网产品的特点，而且最重要的一点是系统可以接受主从同步数据带来的延迟，也就是说当用户在后台新增一条博客时，前台门户网站并不能立即查询到这条信息。一般都是再过一段时间后才会出现在首页，因为大多数系统都有缓存设置，这样正好给主从同步延迟带来时间。接着说上面的问题，有的同学可能会有这样的疑问，就是后台用户在新增一条记录后，一般都是立即查询返回博客列表，按照上面说的岂不是查询不到~~~，我觉得这个问题可以这么解决：1、后台用户在进行新增，查询，编辑，删除等操作时直接连接主库，这样无论什么操作都是实时的，因为后台操作对数据库的压力不是很大，所以读写全部连接主库应该没什么问题！2、门户网站查询博客列表时从“从库集群中查询“，通过负载均衡技术，解决了扩展性，高可用性等问题，同时门户网站首页也不需要实时查询主库中的数据，因为网站本身一般都有缓存，也不是实时的。上面的架构设计只是抛砖引玉，大家有什么好想法也可以相互交流~本文重点介绍的内容有二点：1、如何使用Haproxy给MySQL做负载均衡，提供相关的配置说明，健康检查等等。2、当程序通过连接Haproxy代理之后，如何解决程序中连接池长连接失效的问题。下面介绍如何安装配置Haproxy~1、首先进行负载均衡配置。假设两台MySQL(slave)从服务器A：192.168.1.191:3306B：192.168.1.192:3306。首先在linxu上安装Haproxy，安装过程略。。。。。。安装完毕后打开配置文件在/etc/haproxy/haproxy.cfg，配置文件的路径可能不用，别告诉我找不到~~~！1.global2.maxconn40963.daemon4.chroot/var/lib/haproxy5.pidfile/var/run/haproxy.pid6.#debug7.#quiet8.userhaproxy9.grouphaproxy10.11.defaults12.logglobal13.modehttp14.optionhttplog15.optiondontlognull16.log127.0.0.1local017.retries318.optionredispatch19.maxconn200020.#contimeout500021.#clitimeout5000022.#srvtimeout5000023.timeouthttp-request10s24.timeoutqueue1m25.timeoutconnect10s26.timeoutclient1m27.timeoutserver1m28.timeouthttp-keep-alive10s29.timeoutcheck10s30.31.listenadmin_stats0.0.0.0:888832.modehttp33.statsuri/dbs34.statsrealmGlobal\statistics35.statsauthadmin:admin36.37.listenproxy-mysql0.0.0.0:2330638.modetcp39.balanceroundrobin40.optiontcplog41.optionmysql-checkuserhaproxy#在mysql中创建无任何权限用户haproxy，且无密码，这个在MySQL5.7中需要一些技巧来规避无密码的设置42.serverMySQL1192.168.1.191:3306checkweight1maxconn200043.serverMySQL2192.168.1.192:3306checkweight1maxconn200044.optiontcpkalistenadmin_stats0.0.0.0:8888这个配置是监控页面，绑定到本机8888端口，账号admin，密码admin可以通过web的方式查看所有MySQL节点的使用情况，http://你的IP:8888/dbs即可登录监控后台。如下图：1.listenproxy-mysql0.0.0.0:233062.modetcp3.balanceroundrobin4.optiontcplog5.optionmysql-checkuserhaproxy#在mysql中创建无任何权限用户haproxy，且无密码6.serverMySQL1192.168.1.191:3306checkweight1maxconn20007.serverMySQL2192.168.1.192:3306checkweight1maxconn20008.optiontcpkaproxy-mysql0.0.0.0:23306代理的端口。程序连接从库集群时就访问这个端口。balanceroundrobin负载均衡方式。optionmysql-checkuserhaproxy这里是配置健康检查的，也是haproxy自带的功能，需要在mysql中创建无任何权限用户haproxy，且无密码serverMySQL1192.168.1.191:3306checkweight1maxconn2000配置MySQL从库节点，有多少节点就配置多少server项。有的同学可能不知道如何在MySQL中创建用户，这里也给你写好了。用户名为haproxy且无密码（重要）否则haproxy无法检测MySQL状态。CREATEUSER'haproxy'@'%'IDENTIFIEDBY'';配置完成后启动代理servicehaproxystart如果用过yum方式安装，应该就能启动了，如果是其它方式安装，可能启动方式不同，需要编写脚本启动，应该不难自己研究一下~~~然后让我们写个demo测试一下代理是否配置成功了没！1.publicstaticvoidmain(String[]args)throwsException{2.3.4.Class.forName(com.mysql.jdbc.Driver);5.Connectionconn=DriverManager.getConnection(jdbc:mysql://你的IP:23306/template?useUnicode=true,root,sql2008);6.7.for(inti=0;i100;i++){8.PreparedStatementpr=null;9.ResultSetres=null;10.try{11.pr=conn.prepareStatement(selectcount(*)fromsys_user);12.res=pr.executeQuery();13.if(res.next()){14.System.out.println(newDate().toLocaleString()+-+res.getInt(1));15.}16.}catch(Exceptione){17.e.printStackTrace();18.res.close();19.pr.close();20.}21.22.Thread.sleep(25000);23.}24.25.conn.close();26.}输出结果如下：可以看到代理MySQL成功了，这时你可以随机关掉一个MySQL节点的服务，程序依然能够正常的执行，说明负载均衡也成功了。1.2015-8-2810:09:27-72.2015-8-2810:09:52-73.2015-8-2810:10:17-74.2015-8-2810:10:42-75.2015-8-2810:11:07-7小小的激动有没有~有没有~。于是乎我们就把程序中数据源的配置改造一下，让它连接haproxy即可。propertyname=jdbcUrlvalue=jdbc:mysql://你的IP:23306/template?useUnicode=true/是不是以为大功告成了，如果你就这样配置的话，等程序运行起来它就会给你一个大大的surprise其实这里面是有坑的~~~~，且听我细细道来。一般的情况下，我相信大家在直接连接MySQL的时候几乎都用到了连接池。以我的配置为例：1.beanid=dataSourceclass=com.mchange.v2.c3p0.ComboPooledDataSourcedestroy-method=close2.propertyname=driverClassvalue=com.mysql.jdbc.Driver/3.propertyname=jdbcUrlvalue=jdbc:mysql://IP:23306/数据库名称?useUnicode=true/4.propertyname=uservalue=xx/5.propertyname=passwordvalue=yy/6.propertyname=initialPoolSizevalue=5/7.propertyname=minPoolSizevalue=5/8.propertyname=maxPoolSizevalue=30/9.propertyname=maxIdleTimevalue=0/10.propertyname=idleConnectionTestPeriodvalue=30/11.propertyname=acquireIncrementvalue=3/12.propertyname=automaticTestTablevalue=C3p0TestTable_NotDelete/13.propertyname=autoCommitOnClosevalue=false/14.lt;/bean其它的参数这里不解释，大家可以查询C3P0配置信息，网上很多。这里只说一个：idleConnectionTestPeriod=30这个参数是配置连接池每隔多少时间去检查池内链接的有效性，单位秒。我这里设置成30秒，那么C3P0会每隔30秒把连接池内所有的空闲连接拿出来挨个发一个测试SQL语句，已确定这个链接的有效性。以前我们的数据源是直接连接MySQL数据库的，在正常的情况下MySQL是不会断开这个链接的。但是我们现在连接的是haproxy，也就是说我们程序的连接(Connection)是与haproxy建立的，这里的坑在于这个连接是会被haproxy断掉的，这样的话你连接