软件性能测试技术实践

1性能测试技术中国软件评测中心基础篇：1.软件性能概念2.性能测试目的3.性能测试类型4.性能测试策略5.性能测试流程内容实践篇：1.案例分析2.LoadRunner工具介绍3.操作演示3实践篇案例分析Loadrunner工具介绍操作演示上机实习4案例分析案例1：中国移动小型机选型测试案例2：《工程建设项目信息管理系统》性能测试及故障诊断5中国移动小型机选型测试：项目背景移动小型机服务器设备全国集中采购厂家设备标称值仅具备参考意义国际组织基准测试值与移动业务关系不大6案例1：测试需求选用统一的软件系统（BOSS）架构：B/S,应用服务器weblogic,交易中间件tuxedo，数据库oracle重点关注指标：交易数/秒，比较各款设备的性能7PCServer：压力机模拟营业终端被测设备：数据库服务器（营帐）8案例1：测试方案业务模型性能评价标准测试案例制定加压策略9案例1：业务模型业务选取原则：1)业务交易量较大，对BOSS性能产生较大影响；2)充分考虑不同业务处理方式的性能影响，如对数据库增、删、改、查操作；10案例1：业务模型抽取业务：™开户™详单查询™缴费™资费变更11案例1：测试方案业务模型性能评价标准测试案例制定加压策略12案例1：性能评价标准业务响应时间要求业务名称响应时间要求（S）业务比例开户65％资费变更1015％营业缴费350％详单查询1030％13案例1：性能评价标准测试终止条件确定测试终止时，服务器处理的最大交易数TPS)nn(4n1n压力比例”“操作”比满足响应时间要求百分“操作时延加权值＝×∑==14案例1：测试方案业务模型性能评价标准测试案例制定加压策略15案例1：测试案例制定测试编号：boss-001项目：综合业务交易测试测试目的：测试综合业务的并发性能，验证小型机的并发服务能力预置条件：1.开户、营业缴费、详单查询和资费变更等功能实现正确2.数据库已加载所规定的数据量测试步骤：1.根据各业务流程，录制调试脚本，其中每个业务单独作为一个action，并参数化脚本2.在压力测试场景中，加载脚本，对脚本中的每个action设置业务比例，设置初始的虚拟并发用户数3.按照测试终止条件的判定流程逐步加压，加压的初始值和步长都可以协商设定，直至达到响应延迟不能满足要求的性能点。4.记录最终的分析交易执行指标和资源监控指标16预期结果：1.工具模拟的客户端并发请求均被发送到应用服务器，服务器响应客户端请求2.执行情况被测试工具正确记录3.数据库处理结果与测试工具记录结果相符测试数据：交易记录交易响应时间（平均值）每秒交易数（平均值）缴费-进入缴费-提交开户-进入开户-提交查询-进入查询-提交资费变更-进入资费变更-提交缴费开户查询资费变更系统资源使用（平均值）系统资源使用（最大值）磁盘和网络使用值CPU占用率(%)CPU占用率(%)磁盘繁忙(%)系统用户等待系统用户平均最大测试说明：1.每次加压的持续时间在20分钟左右2.每一轮压力测试完成后，检查数据库数据，验证测试结果的正确性占用内存(MB)内存占用(MB)总交易数成功率(%)17案例1：测试方案业务模型性能评价标准测试案例制定加压策略18案例1：加压策略循环次数：暂定1次，视运行时间长短而定虚拟用户数：初始为50个，视测试结果和方案中的公式计算值确定是否需要继续加压压力机数量：初始为5台，视测试结果而定中间件服务器数量：初始1台，视测试结果而定19案例1：加压策略每台中间件服务器起两个实例，压力机可以视压力情况增加或减少20测试需求选用统一的软件系统（BOSS）架构：B/S,应用服务器weblogic,交易中间件tuxedo，数据库oracle重点关注指标：交易数/秒，比较各款设备的性能21案例2项目概述《某工程建设项目信息管理系统》是国家级项目，在全国范围内使用。使用的用户包括公司总部及其下属的部门及项目点。该系统主要完成与业务项目有关的管理工作，实现项目管理的流程化、系统化以及自动化。22案例2系统部署环境路由器防火墙Internettool（负载压力）Probe（故障诊断探针1）Probe（故障诊断探针2）Portal服务器CM服务器交换机Probe（流量捕捉探针）23案例2主要功能模块结构化制度文档上传与下载非结构化制度文档上传与下载项目管理工作办公记事等24案例2网络配置总部的连接方式采用100M局域网部门及项目点与总部的通讯采用多种连接方式，包括宽带、ISDN、企业骨干网以及拨号等25案例2用户需求分析系统的某些操作速度很慢，例如访问首页、图纸类非结构化文档编辑等，尤其是外网用户执行上述操作时抱怨更具有代表性。26案例2系统瓶颈会在哪里？客户端？服务器？网络？软件？硬件？27案例2确定系统瓶颈的测试策略局域网测试：定位应用系统以及软、硬件支撑平台故障。广域网测试：定位网络环境对应用系统的影响，定位网络故障，分析网络品质。28案例2分析用户需求结果测试应达到什么目标：并发执行事务用户数应达到50个。事务处理应达到大于9次/秒。事务执行平均响应时间应达到小于10秒。事务执行期间服务器资源使用是否合理。是否存在事务执行网络故障。事务所部署的网络状况是否良好。29案例2性能测试与瓶颈分析步骤分析用户需求设计测试用例收集测试结果性能瓶颈分析关键点故障诊断性能调优建议30案例2设计测试用例用例名称事务并发用户数数据量网络环境信息上传1.查询所有2.信息上传20、50…100查询库数据量满足：5000条、10000条、50000附件上传下载1.查询所有2.附件上传3.附件下载20、50…100查询库数据量满足：5000、10000、50000、100000条上传下载附件大小满足：200k项目管理1.项目选择2.新增项目3.条件查询20、50…100查询库数据量满足：1000、5000、10000、100000条工作记事1.新增记事2.条件查询20、50…100查询库数据量满足：10000、50000、100000条100M局域网10M局域网2M企业内部网56KbpsModem制度文档31案例2性能测试与瓶颈分析步骤分析用户需求设计测试用例收集测试结果性能瓶颈分析关键点故障诊断性能调优建议32案例2收集测试结果†局域网测试结果客户端事务执行结果非客户端资源监控结果†广域网测试结果客户端事务执行结果非客户端资源监控结果33案例2客户端执行结果用例名称并发用户数平均响应时间(s)最大通过率(tran/s)项目选择新增项目条件查询项目选择新增项目条件查询项目管理4034.45169.6697.5451.51.1251.8755046.55286.10510.9922.751.8752.33334案例2非客户端：服务器资源用例名称并发用户数CPU指标CPU（％）内存指标PageIn/PageOut（num/s）硬盘指标DiskTraffic（bytes/s）CM服务器Portal服务器CM服务器Portal服务器CM服务器Portal服务器项目管理50平均值17.281登录阶段68.158平均值84.511最大值1000/3.3970.267/74.5874.7355.9935案例2非客户端：数据库资源监控指标服务器数据库项目管理（并发用户数为50）RMDB0CM服务器ICMNLSDB0failed_sql_stmts（num）(L)Portal服务器ECIMSDB118RMDB0CM服务器ICMNLSDB0locks_held（num）Portal服务器ECIMSDB52.645RMDB0CM服务器CMNLSDB0locks_waiting（num）Portal服务器ECIMSDB0.52RMDB0CM服务器CMNLSDB0rollback_sql_stmts（num）(L)Portal服务器ECIMSDB118commit_sql_stmts（L）Portal服务器ECIMSDB1710dynamic_sql_stmts(L)Portal服务器ECIMSDB25368static_sql_stmts(L)Portal服务器ECIMSDB1828rows_deleted(L)Portal服务器ECIMSDB0rows_inserted(L)Portal服务器ECIMSDB228rows_selected(L)Portal服务器ECIMSDB241938rows_updated(L)Portal服务器ECIMSDB34636案例2非客户端：中间件资源监控指标（Portal服务器）项目管理（并发用户数为50）AvgTimeWaitForLock（ms）6202.77numWaitsForLock（num）173875.521freeMemory（byte）115881956.426totalMemory（byte）277703778.043invalidatedSessions（num）75concurrentRequests（num）13.477numErrors（num）0responseTime（ms）6771.615totalRequest28078.26637案例2非客户端：中间件资源监控指标（Portal服务器）项目管理（并发用户数为50）AvgTimeWaitForLock（ms）6202.77numWaitsForLock（num）173875.521freeMemory（byte）115881956.426totalMemory（byte）277703778.043invalidatedSessions（num）75concurrentRequests（num）13.477numErrors（num）0responseTime（ms）6771.615totalRequest28078.26638案例2非客户端：网络应用应用数据在广域网上存在很多帧丢失和TCP重传的现象39案例2非客户端：网络品质模拟带宽为512K时的带宽利用率，最大值接近200％，说明带宽不足40案例2性能测试与瓶颈分析步骤分析用户需求设计测试用例收集测试结果性能瓶颈分析关键点故障诊断性能调优建议41案例2瓶颈分析—分析角度客户端事务执行瓶颈服务器资源使用瓶颈应用在网络上的瓶颈42案例2瓶颈分析－客户端事务执行瓶颈并发用户数未达到性能需求事务执行响应时间较长43案例2瓶颈分析－服务器资源使用瓶颈Portal服务器处理速度慢，出现瓶颈；CM服务器处理速度快，经常处于空闲状态。负载压力期间Portal服务器CPU资源占用量大。首页加载7个频道期间，CM服务器CPU资源占用量达到100％。Portal服务器内存占用在业务执行结束后长时间不完全释放，并且随系统承受负载的持续，有递增趋势。当系统负载压力递增时，数据库有失败SQL调用存在，造成客户端事务失败等。44案例2瓶颈分析－应用在网络上的瓶颈广域网运行环境下的响应时间比局域网运行环境下的响应时间要长很多，例如最大的差距达到510秒。应用数据在广域网上存在很多帧丢失和TCP重传的现象。应用程序在客户端与Portal服务器之间会话的往返行程次数较多。线程之间以及线程的请求与回应之间均存在延迟。随着网络带宽的下降，网络重传现象不断加重。当带宽为512K时，应用的带宽利用率为不合理等。45案例2性能测试与瓶颈分析步骤分析用户需求设计测试用例收集测试结果性能瓶颈分析关键点故障诊断性能调优建议46案例2关键点故障诊断（调优措施）并发执行事务用户数事务执行平均响应时间事务执行期间服务器资源使用事务执行网络故障事务所部署的网络状况47关键点故障诊断－并发执行用户数例如用例制度文挡，最大并发用户数未达到50。系统报错误：Action1.c(57):Error-26612:HTTPStatus-Code=500(InternalServerError)for“