系统性能优化――开发篇

1.目的定义基于EMARK平台的绩效管理系统的性能设计规范，作为设计开发人员在数据库设计、数据库编程、JAVA开发时技术参考资料。首先，在应用开发阶段，通过有效手段和方法保证代码质量优化，最大程度地保证代码的性能和效率达到最优，并杜绝内存泄漏等潜在的危险代码。其次，在应用部署上线阶段，通过压力测试、应用优化、配置调优等使应用运行在最佳状态。在应用运行维护阶段，对生产系统运行状况和性能进行不间断的监控，及时发现对业务会产生影响的问题，并对历史状态进行分析，预测未来发展趋势，评估当前系统性能，确定是否存在潜在的问题，消除因为严重的性能问题对业务造成的不可弥补的影响，保证系统的可用性和高性能。2.概述基于EMARK平台的绩效系统是J2EE架构的web应用程序，从系统程序设计的角度来分析，为了尽量减少系统运行效率低的问题，那么根据J2EE体系架构的技术特点，在开发应用程序时，应该在技术上对系统设计进行一定的控制，对应用程序的设计和开发进行一定优化。对采用J2EE架构开发的系统的优化一般针对两方面：数据库优化，程序结构优化3.数据库优化原则3.1.数据库逻辑设计3.1.1.基本表扩展数据库性能包括存储空间需求量的大小和查询响应时间的长短两个方面。为了优化数据库性能，需要对数据库中的表进行规范化。一般来说，逻辑数据库设计满足第三范式的表结构容易维护且基本满足实际应用的要求。所以，实际应用中一般都按照第三范式的标准进行规范化，从而保证了数据库的一致性和完整性，设计人员往往会设计过多的表间关联，以尽可能地降低数据冗余。但在实际应用中这种做法有时不利于系统运行性能的优化:如过程从多表获取数据时引发大量的连接操作，在需要部分数据时要扫描整个表等，这都消耗了磁盘的I/O和CPU时间。为解决这一问题，在设计表时应同时考虑对某些表进行反规范化，我们常用的方法保留冗余列。当两个或多个表在查询中经常需要连接时，可以在其中一个表上增加若干冗余的列，以避免表之间的连接过于频繁，一般在冗余列的数据不经常变动的情况下使用。3.2.索引创建索引是提高检索效率最有效的方法之一，索引把表中的逻辑值映射到安全的RowID，能快速定位数据的物理地址，可以大大加快数据库的查询速度，一个建有合理索引的数据库应用系统可能比一个没有建立索引的数据库应用系统效率高几十倍，但并不是索引越多越好，在那些经常需要修改的数据列上建立索引，将导致索引B*树的不断重组，造成系统性能的下降和存储空间的浪费。对于一个大型表建立的索引，有时并不能改善数据查询速度，反而会影响整个数据库的性能。这主要是和SGA的数据管理方式有关，Oracle在进行数据块高速缓存管理时，索引数据比普通数据具有更高的驻留权限，在进行空间竞争时，Oracle会先移出普通数据，对建有索引的大型表进行数据查询时，索引数据可能会用完所有的数据块缓存空间，Oracle不得不频繁地进行磁盘读写来获取数据，所以，在对一个大型表进行分区之后，可以根据相应的分区建立分区索引。Oracle提供了另一种方法来提高查询速度，就是聚簇(Cluster)。所谓聚簇，简单地说就是把几个表放在一起，按一定公共属性混合存放。聚簇根据共同码值将多个表的数据存储在同一个Oracle块中，这时检索一组Oracle块就同时得到两个表的数据，这样就可以减少需要存储的Oracle块，从而提高应用程序的性能。对于逻辑结构的优化，还应将表数据和索引数据分开表空间存储，分别使用独立的表空间。因为如果将表数据和索引数据放在一起，表数据的I/O操作和索引的I/O操作将产生影响系统性能的I/O竞争，降低系统的响应效率。将表数据和索引数据存放在不同的表空间中，并在物理层面将这两个表空间的数据文件放在不同的物理磁盘上，就可以避免这种竞争了。3.3.表空间在数据表设计时，我们需要考虑把数据表空间和索引表空间分开存储。以下是EMARK的表空间规划，在设计表的时候请参照：表空间类型描述ts_data_r_emark数据表空间只读和写操作频率较低的数据表空间ts_data_w_emark数据表空间写操作频率较高的数据表空间ts_ind_r_emark索引表空间只读和写操作频率较低的索引表空间ts_ind_w_emark索引表空间写操作频率较高的索引表空间ts_data_history【可选】数据表空间历史库表空间ts_ind_history【可选】索引表空间历史库索引表空间3.4.SQL优化3.4.1.访问Table的方式Oracle采用两种访问表中记录的方式：a.全表扫描全表扫描就是顺序地访问表中每条记录。ORACLE采用一次读入多个数据块(databaseblock)的方式优化全表扫描。b.通过ROWID访问表你可以采用基于ROWID的访问方式情况，提高访问表的效率，ROWID包含了表中记录的物理位置信息……ORACLE采用索引(INDEX)实现了数据和存放数据的物理位置(ROWID)之间的联系。通常索引提供了快速访问ROWID的方法，因此那些基于索引列的查询就可以得到性能上的提高。3.4.2.共享SQL语句为了不重复解析相同的SQL语句，在第一次解析之后，ORACLE将SQL语句存放在内存中。这块位于系统全局区域SGA(systemglobalarea)的共享池(sharedbufferpool)中的内存可以被所有的数据库用户共享。因此，当你执行一个SQL语句(有时被称为一个游标)时，如果它和之前的执行过的语句完全相同，ORACLE就能很快获得已经被解析的语句以及最好的执行路径。ORACLE的这个功能大大地提高了SQL的执行性能并节省了内存的使用。可惜的是ORACLE只对简单的表提供高速缓冲(cachebuffering)，这个功能并不适用于多表连接查询。数据库管理员必须在init.ora中为这个区域设置合适的参数，当这个内存区域越大，就可以保留更多的语句，当然被共享的可能性也就越大了。当你向ORACLE提交一个SQL语句，ORACLE会首先在这块内存中查找相同的语句。这里需要注明的是，ORACLE对两者采取的是一种严格匹配，要达成共享，SQL语句必须完全相同(包括空格，换行等)。共享的语句必须满足三个条件：A.字符级的比较：当前被执行的语句和共享池中的语句必须完全相同。例如：SELECT*FROMEMP;和下列每一个都不同SELECT*fromEMP;Select*FromEmp;SELECT*FROMEMP;B.两个语句所指的对象必须完全相同：例如：用户对象名如何访问Jacksal_limitprivatesynonymWork_citypublicsynonymPlant_detailpublicsynonymJillsal_limitprivatesynonymWork_citypublicsynonymPlant_detailtableowner考虑一下下列SQL语句能否在这两个用户之间共享。SQL能否共享原因selectmax(sal_cap)fromsal_limit;不能每个用户都有一个privatesynonym-sal_limit,它们是不同的对象selectcount(*0fromwork_citywheresdesclike'NEW%';能两个用户访问相同的对象publicsynonym-work_cityselecta.sdesc,b.locationfromwork_citya,plant_detailbwherea.city_id=b.city_id不能用户jack通过privatesynonym访问plant_detail而jill是表的所有者,对象不同.C.两个SQL语句中必须使用相同的名字的绑定变量(bindvariables)例如：第一组的两个SQL语句是相同的(可以共享)，而第二组中的两个语句是不同的(即使在运行时，赋于不同的绑定变量相同的值)a.selectpin，namefrompeoplewherepin=：blk1.pin;selectpin，namefrompeoplewherepin=：blk1.pin;b.selectpin，namefrompeoplewherepin=：blk1.ot_ind;selectpin，namefrompeoplewherepin=：blk1.ov_ind;3.4.3.选择最有效率的表名顺序(只在基于规则的优化器中有效)ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，因此FROM子句中写在最后的表(基础表drivingtable)将被最先处理。在FROM子句中包含多个表的情况下，你必须选择记录条数最少的表作为基础表。当ORACLE处理多个表时，会运用排序及合并的方式连接它们。首先，扫描第一个表(FROM子句中最后的那个表)并对记录进行派序，然后扫描第二个表(FROM子句中最后第二个表)，最后将所有从第二个表中检索出的记录与第一个表中合适记录进行合并。例如：表TAB116，384条记录表TAB21条记录选择TAB2作为基础表(最好的方法)selectcount(*)fromtab1，tab2执行时间0.96秒选择TAB2作为基础表(不佳的方法)selectcount(*)fromtab2，tab1执行时间26.09秒如果有3个以上的表连接查询，那就需要选择交叉表(intersectiontable)作为基础表，交叉表是指那个被其他表所引用的表。例如：EMP表描述了LOCATION表和CATEGORY表的交集。SELECT*FROMLOCATIONL,CATEGORYC,EMPEWHEREE.EMP_NOBETWEEN1000AND2000ANDE.CAT_NO=C.CAT_NOANDE.LOCN=L.LOCN将比下列SQL更有效率SELECT*FROMEMPE,LOCATIONL,CATEGORYCWHEREE.CAT_NO=C.CAT_NOANDE.LOCN=L.LOCNANDE.EMP_NOBETWEEN1000AND20003.4.4.WHERE子句中的连接顺序ORACLE采用自下而上的顺序解析WHERE子句，根据这个原理，表之间的连接必须写在其他WHERE条件之前，那些可以过滤掉最大数量记录的条件必须写在WHERE子句的末尾。例如：（低效，执行时间156.3秒）SELECT…FROMEMPEWHERESAL50000ANDJOB=‘MANAGER’AND25(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO);(高效,执行时间10.6秒)SELECT…FROMEMPEWHERE25(SELECTCOUNT(*)FROMEMPWHEREMGR=E.EMPNO)ANDSAL50000ANDJOB=‘MANAGER’;6.SELECT子句中避免使用‘*’当你想在SELECT子句中列出所有的COLUMN时，使用动态SQL列引用‘*’是一个方便的方法。不幸的是，这是一个非常低效的方法。实际上，ORACLE在解析的过程中，会将‘*’依次转换成所有的列名，这个工作是通过查询数据字典完成的，这意味着将耗费更多的时间。3.4.5.减少访问数据库的次数当执行每条SQL语句时，ORACLE在内部执行了许多工作：解析SQL语句，估算索引的利用率，绑定变量，读数据块等等。由此可见，减少访问数据库的次数，就能实际上减少ORACLE的工作量。例如，以下有三种方法可以检索出雇员号等于0342或0291的职员。方法1(最低效)SELECTEMP_NAME,SALARY,GRADEFROMEMPWHEREEMP_NO=342;SELECTEMP_NAME,SALARY,GRADEFROMEMPWHEREEMP_NO=291;方法2(次低效)DECLARECURSORC1(E_NONUMBER)ISSELECTEMP_NAME,SALARY,GRADEFROMEMPWHEREEMP_NO=E_NO;BEGINOPENC1(342);FETCHC1INTO…,..,..;