mysql性能优化-慢查询分析、优化索引和配置

mysql性能优化-慢查询分析、优化索引和配置目录一、优化概述二、查询与索引优化分析1性能瓶颈定位Show命令慢查询日志explain分析查询profiling分析查询2索引及查询优化三、配置优化1)max_connections2)back_log3)interactive_timeout4)key_buffer_size5)query_cache_size6)record_buffer_size7)read_rnd_buffer_size8)sort_buffer_size9)join_buffer_size10)table_cache11)max_heap_table_size12)tmp_table_size13)thread_cache_size14)thread_concurrency15)wait_timeout一、优化概述MySQL数据库是常见的两个瓶颈是CPU和I/O的瓶颈，CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候。磁盘I/O瓶颈发生在装入数据远大于内存容量的时候，如果应用分布在网络上，那么查询量相当大的时候那么平瓶颈就会出现在网络上，我们可以用mpstat,iostat,sar和vmstat来查看系统的性能状态。除了服务器硬件的性能瓶颈，对于MySQL系统本身，我们可以使用工具来优化数据库的性能，通常有三种：使用索引，使用EXPLAIN分析查询以及调整MySQL的内部配置。二、查询与索引优化分析在优化MySQL时，通常需要对数据库进行分析，常见的分析手段有慢查询日志，EXPLAIN分析查询，profiling分析以及show命令查询系统状态及系统变量，通过定位分析性能的瓶颈，才能更好的优化数据库系统的性能。1性能瓶颈定位Show命令我们可以通过show命令查看MySQL状态及变量，找到系统的瓶颈：Mysqlshowstatus——显示状态信息（扩展showstatuslike‘XXX’）Mysqlshowvariables——显示系统变量（扩展showvariableslike‘XXX’）Mysqlshowinnodbstatus——显示InnoDB存储引擎的状态Mysqlshowprocesslist——查看当前SQL执行，包括执行状态、是否锁表等Shellmysqladminvariables-uusername-ppassword——显示系统变量Shellmysqladminextended-status-uusername-ppassword——显示状态信息查看状态变量及帮助：Shellmysqld–verbose–help[|more#逐行显示]比较全的Show命令的使用可参考：慢查询日志慢查询日志开启：在配置文件my.cnf或my.ini中在[mysqld]一行下面加入两个配置参数log-slow-queries=/data/mysqldata/slow-query.loglong_query_time=2注：log-slow-queries参数为慢查询日志存放的位置，一般这个目录要有mysql的运行帐号的可写权限，一般都将这个目录设置为mysql的数据存放目录；long_query_time=2中的2表示查询超过两秒才记录；在my.cnf或者my.ini中添加log-queries-not-using-indexes参数，表示记录下没有使用索引的查询。log-slow-queries=/data/mysqldata/slow-query.loglong_query_time=10log-queries-not-using-indexes慢查询日志开启方法二：我们可以通过命令行设置变量来即时启动慢日志查询。由下图可知慢日志没有打开，slow_launch_time=#表示如果建立线程花费了比这个值更长的时间,slow_launch_threads计数器将增加设置慢日志开启MySQL后可以查询long_query_time的值。为了方便测试，可以将修改慢查询时间为5秒。慢查询分析mysqldumpslow我们可以通过打开log文件查看得知哪些SQL执行效率低下[root@localhostmysql]#moreslow-query.log#Time:08102619:46:34#User@Host:root[root]@localhost[]#Query_time:11Lock_time:0Rows_sent:1Rows_examined:6552961selectcount(*)fromt_user;从日志中，可以发现查询时间超过5秒的SQL，而小于5秒的没有出现在此日志中。如果慢查询日志中记录内容很多，可以使用mysqldumpslow工具（MySQL客户端安装自带）来对慢查询日志进行分类汇总。mysqldumpslow对日志文件进行了分类汇总，显示汇总后摘要结果。进入log的存放目录，运行[root@mysql_data]#mysqldumpslowslow-query.logReadingmysqlslowquerylogfromslow-query.logCount:2Time=11.00s(22s)Lock=0.00s(0s)Rows=1.0(2),root[root]@mysqlselectcount(N)fromt_user;mysqldumpslow命令/path/mysqldumpslow-sc-t10/database/mysql/slow-query.log这会输出记录次数最多的10条SQL语句，其中：-s,是表示按照何种方式排序，c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序，ac、at、al、ar，表示相应的倒叙；-t,是topn的意思，即为返回前面多少条的数据；-g,后边可以写一个正则匹配模式，大小写不敏感的；例如：/path/mysqldumpslow-sr-t10/database/mysql/slow-log得到返回记录集最多的10个查询。/path/mysqldumpslow-st-t10-g“leftjoin”/database/mysql/slow-log得到按照时间排序的前10条里面含有左连接的查询语句。使用mysqldumpslow命令可以非常明确的得到各种我们需要的查询语句，对MySQL查询语句的监控、分析、优化是MySQL优化非常重要的一步。开启慢查询日志后，由于日志记录操作，在一定程度上会占用CPU资源影响mysql的性能，但是可以阶段性开启来定位性能瓶颈。explain分析查询使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道MySQL是如何处理你的SQL语句的。这可以帮你分析你的查询语句或是表结构的性能瓶颈。通过explain命令可以得到:–表的读取顺序–数据读取操作的操作类型–哪些索引可以使用–哪些索引被实际使用–表之间的引用–每张表有多少行被优化器查询EXPLAIN字段：ØTable：显示这一行的数据是关于哪张表的Øpossible_keys：显示可能应用在这张表中的索引。如果为空，没有可能的索引。可以为相关的域从WHERE语句中选择一个合适的语句Økey：实际使用的索引。如果为NULL，则没有使用索引。MYSQL很少会选择优化不足的索引，此时可以在SELECT语句中使用USEINDEX（index）来强制使用一个索引或者用IGNOREINDEX（index）来强制忽略索引Økey_len：使用的索引的长度。在不损失精确性的情况下，长度越短越好Øref：显示索引的哪一列被使用了，如果可能的话，是一个常数Ørows：MySQL认为必须检索的用来返回请求数据的行数Øtype：这是最重要的字段之一，显示查询使用了何种类型。从最好到最差的连接类型为system、const、eq_reg、ref、range、index和ALLnsystem、const：可以将查询的变量转为常量.如id=1;id为主键或唯一键.neq_ref：访问索引,返回某单一行的数据.(通常在联接时出现，查询使用的索引为主键或惟一键)nref：访问索引,返回某个值的数据.(可以返回多行)通常使用=时发生nrange：这个连接类型使用索引返回一个范围中的行，比如使用或查找东西，并且该字段上建有索引时发生的情况(注:不一定好于index)nindex：以索引的顺序进行全表扫描，优点是不用排序,缺点是还要全表扫描nALL：全表扫描，应该尽量避免ØExtra：关于MYSQL如何解析查询的额外信息，主要有以下几种nusingindex：只用到索引,可以避免访问表.nusingwhere：使用到where来过虑数据.不是所有的whereclause都要显示usingwhere.如以=方式访问索引.nusingtmporary：用到临时表nusingfilesort：用到额外的排序.(当使用orderbyv1,而没用到索引时,就会使用额外的排序)nrangecheckedforeacherecord(indexmap:N)：没有好的索引.profiling分析查询通过慢日志查询可以知道哪些SQL语句执行效率低下，通过explain我们可以得知SQL语句的具体执行情况，索引使用等，还可以结合show命令查看执行状态。如果觉得explain的信息不够详细，可以同通过profiling命令得到更准确的SQL执行消耗系统资源的信息。profiling默认是关闭的。可以通过以下语句查看打开功能：mysqlsetprofiling=1;执行需要测试的sql语句：mysqlshowprofiles\G;可以得到被执行的SQL语句的时间和IDmysqlshowprofileforquery1;得到对应SQL语句执行的详细信息ShowProfile命令格式：SHOWPROFILE[type[,type]…][FORQUERYn][LIMITrow_count[OFFSEToffset]]type:ALL|BLOCKIO|CONTEXTSWITCHES|CPU|IPC|MEMORY|PAGEFAULTS|SOURCE|SWAPS以上的16rows是针对非常简单的select语句的资源信息，对于较复杂的SQL语句，会有更多的行和字段，比如convertingHEAPtoMyISAM、Copyingtotmptable等等，由于以上的SQL语句不存在复杂的表操作，所以未显示这些字段。通过profiling资源耗费信息，我们可以采取针对性的优化措施。测试完毕以后，关闭参数：mysqlsetprofiling=02索引及查询优化索引的类型Ø普通索引：这是最基本的索引类型，没唯一性之类的限制。Ø唯一性索引：和普通索引基本相同，但所有的索引列值保持唯一性。Ø主键：主键是一种唯一索引，但必须指定为”PRIMARYKEY”。Ø全文索引：MYSQL从3.23.23开始支持全文索引和全文检索。在MYSQL中，全文索引的索引类型为FULLTEXT。全文索引可以在VARCHAR或者TEXT类型的列上创建。大多数MySQL索引(PRIMARYKEY、UNIQUE、INDEX和FULLTEXT)使用B树中存储。空间列类型的索引使用R-树，MEMORY表支持hash索引。单列索引和多列索引（复合索引）索引可以是单列索引，也可以是多列索引。对相关的列使用索引是提高SELECT操作性能的最佳途径之一。多列索引：MySQL可以为多个列创建索引。一个索引可以包括15个列。对于某些列类型，可以索引列的左前缀，列的顺序非常重要。多列索引可以视为包含通过连接索引列的值而创建的值的排序的数组。一般来说，即使是限制最严格的单列索引，它的限制能力也远远低于多列索引。最左前缀多列索引有一个特点，即最左前缀（LeftmostPrefixing）。假如有一个多列索引为key(firstnamelast