测试与测试管理

应用测试与测试管理议程•应用测试的发展•应用测试的规划•测试部门还能做什么•应用测试与测试工具•自动化压力测试解决方案•自动化功能测试解决方案•MercuryInteractive公司简介•成功案例•宏昌英杰科技有限公司简介应用测试的发展•应用测试体系的建立–大规模应用的发展–系统复杂程度增加–问题定位•应用测试服务--新的增长点应用测试的规划•测试的组织管理•测试计划•测试的执行•测试结果分析与测试报告•降低测试的成本测试的组织和管理•常见的测试类型–开发性测试–维护性测试测试的组织管理领导委员会项目经理开发组测试组系统维护专家组系统顾问数据库顾问工具顾问小组成员小组成员小组成员项目主管测试的组织管理•领导委员会–高层决策•项目主管–管理决策–项目监管•项目经理–政策实施资源管理制订计划文档管理控制项目时间表需求管理风险管理定期项目审查项目变化控制配置管理直接客户关系测试的组织管理•测试组(狭义)–执行测试计划–提交测试报告•系统维护组–系统安装–测试环境维护–协助分析结果与系统调试•线上支持组–问题反馈•专家组–培训/安装–提供顾问意见–解决疑难问题–解释测试结果•开发组–协助制订计划–协助分析测试结果–修复程序问题–应用版本控制人员组成是可以重叠的测试计划•测试目标•测试范围(需求)•进度表(里程碑)•阶段资源调配–人员–硬件环境–软件环境•测试过程描述•测试案例列表–测试数据•测试结果样例•测试报告格式•测试维护计划测试的执行•按照计划执行•项目变化控制•文档管理(测试服务必须)–阶段测试报告–问题清单–工作计划–项目变化(项目范围等)–风险评估•例会测试结果分析与测试报告•真实性–与实际情况匹配–真实的数据•客观性–工具–专家–资料•测试报告–不是项目报告–技术性–阶段性–测试报告内容•测试范围•测试环境•测试案例•原始数据•问题清单•其他资料降低测试成本•合作–硬件–软件–专家•收取服务费•人员重叠使用•项目变化•开发新的项目测试部门还能做什么?•开发测试•维护测试•测试服务•系统选型•应用验收•实时监测•项目管理服务•系统分析服务测试部门应该是一个能够盈利的部门!应用测试与测试工具•应用测试与测试工具的关系–不用工具可以进行测试–工具不可以完成所有的事情–不是什么测试都必须使用工具•应用测试的种类–黑盒测试–白盒测试•应用测试工具的用途–自动测试环境的建立自动化压力测试解决方案•自动化压力测试方案•自动化压力测试流程•自动化压力测试工具组件•自动化压力测试原理•虚拟用户的类型•足够的测试资源（人员/机器）•如何调度和同步多个测试用户？•如何收集并分析测试结果？•如何做到精确地重复测试？自动化压力测试方案VuserVuserVuserVuserVuserVuserVuserVuserController•使用虚拟用户替代实际用户(Vusers)•在一台机器上运行多个虚拟用户•通过中心控制点管理虚拟用户(Controller)•使用自动生成的图表和报表分析测试结果自动化压力测试方案LoadRunnerControllerVusersHost1Host2VusersDatabaseServer自动化压力测试方案建立虚拟用户脚本脚本编辑设置运行环境建立并运行压力测试方案分析测试结果自动化压力测试流程优化调整自动化压力测试工具的组件LoadRunner•VirtualUserGenerator–IPspoofer•Controller–TransactionMonitor–ServerMonitor–NetworkDelayMonitor–TransactionBreakdownMonitor–SNMPMonitor–TUXEDOMonitor•Analysis•RemoteCommandLauncherVuGenClient自动化压力测试原理ServerDatabaseAPICallsDBAPIcallsLRDStatementresultvaluesColumn1value1value2Column2resultsetcodeDatabaseAPICallsLRDStatementAPIcallsresultscodecodeAPIcallsresultvaluesAPIcallsresultServerVuGen...LRDStatement......LRDStatement...Column2value2Column1value1resultset自动化压力测试原理•在主机上启动RemoteCommandLauncherControllerMachineAMachineBRemoteCommandLauncher•RCL启动Agent并且将虚拟用户初始化AgentVusers•控制台通过Agent并发所有虚拟用户自动化压力测试原理—中心控制点对虚拟用户的控制lrd_stmt(Csr3,“INSERTINTOCustomers(customer_name,customer_no)VALUES(‘cust_name’,cust_number)”,-1,1,0,0);VuGen自动化压力测试原理B-内置的参数-VuserID-HostName-GroupName-Uniquenumber-Iterationnumber-Date/Time-RandomnumberA-文件:顺序选取数据任意选取顺序且唯一依赖其它参数自动化压力测试原理Logonvuser_initBusinessProcessActionsLogoffvuser_end•ThinktimesIterationsIterations•日志•进程、线程•错误处理•E_Business–Web–CORBA_Java–General_Java–Java(GUI)–LDAP–POP3–FTP•Middleware–DCOM–Jolt–Tuxedo•ERP–SAP–Baan–OracleNCA–PeopleSoft(Tuxedo,Web)•Client/Server–Informix–MSSQLServer–ODBC–Oracle–Sybase(Ctlib,Dblib)–WinSocket–DB2虚拟用户类型(6.5)•Legacy–APPC–RTE•General–C-Template–Java-Template–WinSocket–CORBA–WAP自动化功能测试解决方案•自动化功能测试流程•自动化功能测试原理•同步点•检查点•数据驱动测试•查看测试结果自动记录业务操作生成测试脚本优化测试脚本生成可反复执行的测试程序修改应用之后再进行测试执行数据驱动的测试报告测试结果自动化功能测试流程WinRunner自动化功能测试原理win_activate(3270Demo);set_window(FR03Flights);obj_type(Emulator_Field,12/12/99kTab);obj_type(Emulator_Field,”PortlandkTab);FlightsReservation-CreateOrderDepartDate:___/___/___FromCity..:________________ToCity.....:________________Flight......:_______FLIGHTINFORMATIONTICKETORDERINFORMATIONOrderNumber....:__________Customer........:___________________BillingDate......:Order1234Created.obj_type(Emulator_Field,”LosAngeleskTab);12/12/99PortlandLosAngelesobj_type(Emulator_Field”,“2203kTab);220312/13/99obj_type(Emulator_Field”,“JohnSmithkTab);obj_type(Emulator_Field”,kReturn);1234JohnSmith自动化功能测试原理FlightsReservation-CreateOrderDepartDate:___/___/___FromCity..:________________ToCity.....:________________Flight......:_______FLIGHTINFORMATIONTICKETORDERINFORMATIONOrderNumber....:__________Customer........:___________________BillingDate......:win_activate(3270Demo);set_window(FR03Flights);obj_type(Emulator_Field,12/12/99kTab);obj_type(Emulator_Field,”PortlandkTab);Order1235Created.obj_type(Emulator_Field,”LosAngeleskTab);12/12/99PortlandLosAngelesobj_type(Emulator_Field”,“2203kTab);220312/13/99obj_type(Emulator_Field”,“JohnSmithkTab);obj_type(Emulator_Field”,kReturn);1235JohnSmith同步点WaitforawindowWINDOWNovisualcue;justwaitforsettimetoelapseELAPSEDTIMEWaitforabitmaptorefreshBITMAPWaitforanobjectstateOBJECTSTATE•GUIObjectVerification•DatabaseVerification•BitmapImageVerification•TextVerification检查点invoke_application(“flight1a.exe,,C:\\,SW_SHOW);set_window(Login,10);edit_set(userid,“Josephine”);edit_set(password,Mercury);button_press(OK);set_window(FlightReservation,10);win_check_gui(FlightReservation,list1.ckl,gui1,1);menu_select_item(File;Exit);TestScript数据驱动测试修改测试脚本table=getvar(testname)&”\\default.xls”;ddt_open(table);do{invoke_application(“flight1a.exe,,C:\\,SW_SHOW);set_window(Login,10);edit_set(userid,ddt_val(table,“UserID);edit_set(password,ddt_val(table“Password”);button_press(OK);set_window(FlightReservation,10);win_check_gui(FlightReservation,list1.ckl,gui1,1);menu_select_item(File;Exit);}while(ddt_next_row(table)==E_OK);ddt_close(table);TestScript执行并查看测试结果BPVerificationPassesBPVerificationFailsValueofmismatcherror•成立于1989年8月•1993年