02研发质量控制测试

1|目录ƒ研发质量管理体系ƒ研发质量策划ƒ研发质量控制：测试ƒ研发质量控制：评审ƒ研发质量保证ƒ研发质量度量ƒ构建研发质量管理体系2|测试管理ƒ测试领域理念ƒ产品测试流程ƒ关键测试技术ƒ测试自动化ƒ构建测试团队3|Requirements56%Design27%Other10%Code7%错误定位费用分析Requirements82%Design13%Other4%Code1%错误引入阶段分析JamesMartin：超过50%的缺陷由不完善的、不正确的、不准确的和/或不明确的需求所引起JamesMartin：80%以上的用于定位软件错误的费用是基于软件系统需求定义的错误测试原则和方法：缺陷引入阶段分析4|Systems(48Projects)REQMTS/SPECIF.14.0%DESIGN19.0%IMPLEMENT-TEST37.0%Firmware(31Projects)REQMTS/SPECIF.15.0%DESIGN21.0%IMPLEMENTATION39.0%TEST25.0%Applications(53Projects)REQMTS/SPECIF.22.0%DESIGN16.0%IMPLEMENTATION34.0%TEST28.0%ATION30.0%PercentEngineeringHoursbyPhase测试原则和方法：测试的投入分析ƒIBM:¾软件可靠性比硬件可靠性低一个数量级¾软件工程化和软件测试是保证软件质量的有效手段¾一般项目：项目总投入的30%－40%ƒHP:5|测试原则和方法：为什么要尽早测试6|系统中有许多错误客户遇到的错误只占很小比例针对客户最容易遇到的错误进行测试，以便改进测试的有效性测试原则和方法：客户化测试7|测试原则和方法：测试活动的原则ƒGood-enough原则¾这是一种权衡投入／产出比的原则，测试既不要不充分，也不要过分。不充分和过分都是一种不负责任的表现。Zero-bug是一种理想，Good-enough是我们的原则。ƒPareto原则¾一般情况下，在分析、设计、实验阶段的复审和测试工作能够发现和避免80％的bug，而系统的软件测试能够找出其余bug中的80％。最后约5%的bug只有在用户大范围、长时间的使用后才会暴露出来。因此测试只能保证尽可能多地发现错误，不能保证发现所有的错误。8|测试原则和方法：测试结束准则ƒ查出了预定数目的错误；ƒ达到一定覆盖率；ƒ错误强度曲线下降到预定的水平；ƒ达到测试计划中所规定的完备性；ƒ使用了特定的测试用例设计方法；ƒ其它标准；9|测试原则和方法：著名测试论点ƒGlenMyers¾测试是为了发现错误而执行程序的过程；¾一个好的测试是指很可能找到尚未发现的错误的测试；¾一个成功的测试是指发现了至今未发现的错误的测试；ƒHetzel¾软件测试是对软件建立信心的过程；¾测试是评估软件或系统的品质或能力的一种积极的行为；¾测试是对软件质量的度量；10|测试原则和方法：测试与调试ƒ目的的差异性；ƒ过程的规范性；ƒ过程的可重复性；ƒ具体操作主体；ƒ采用的技术；11|测试管理ƒ测试领域理念ƒ产品测试流程ƒ关键测试技术ƒ测试自动化ƒ构建测试团队12|集成产品开发流程框架产品规划概念计划开发与测试验证与发布生命周期管理产品规划流程项目任务书MRS市场需求管理流程Charter软件开发与测试硬件开发与测试结构开发工艺开发专用芯片开发与测试工业设计与开发试产验证.认证与标杆测试.Beta测试发布准备.验收测试原型机集成与系统测试中试验证测试…项目管理（PM）产品需求管理（PRM）产品配置管理（PCM）产品度量（PMA）产品质量保证（PQA）系统分析与设计产品需求分析产品总体设计业务决策（DR）、技术评审（TR）制造.营销.支持服务.改进优化13|产品启动定义可测试性需求定义产品包需求和产品概念拟制产品包验证主计划系统需求分析、功能分析、设计综合BUILD划分模块级需求分析、设计、实现、验证产品测试正式启动子系统需求分析、功能分析、设计综合SDV测试执行测试评估与关闭SIT测试执行SVT测试执行测试方案设计测试用例设计测试需求分析和测试计划制定验证阶段开发阶段计划阶段概念阶段产品测试生命周期模型14|PDTIPMTExt.Team参与开发概念决策评审材料：初步的测试领域的E2E2级项目计划参与概念决策评审6-8Weeks参与项目Kickoff和制定概念阶段计划共同开发产品包需求和产品概念并进行技术评审1参与市场需求分析与验证负责收集可测试方面的需求初步制定测试策略产品测试流程：概念阶段15|PDTIPMTExt.Team确定、分配、增加外围测试成员计划阶段开工参与制定计划阶段计划参与技术评审2完成测试工具概要设计参与计划决策评审制定测试领域的E2E项目计划10-12Weeks负责制定验证测试计划参与制定集成测试计划方案参与技术评审3可测试性设计测试专利申请产品测试流程：计划阶段16|协助，监督单元测试，集成测试工作的开展领导系统设计验证（SDV，原型机）系统集成测试（SIT，初始产品）参与技术评审4技术评审5技术评审4A测试工具详细设计与开发SE管理更改和进行设计检查核心组对项目进行管理和监控其它功能活动：制造工艺设计、开发，技术支持准备，发布准备，物料订购等生产测试设备设计、开发内部标竿测试确定BETA测试用户产品测试流程：开发阶段17|系统验证测试（SVT）BATA测试参与准备可获得性决策评审材料技术评审六功能领域的持续活动核心组继续对项目进行管理和监控SE继续管理更改和进行设计检查系统认证测试和标杆测试参与可获得性决策评审ESP产品发运及参与客户支持工作测试结果评估产品测试流程：验证阶段18|参与网上问题的跟踪，验证功能领域的持续活动核心组继续对项目进行管理和监控协助网上设备升级参与发布产品包和公布GA日期参与重点客户的招标测试，技术支持收集客户新的需求产品测试流程：发布阶段19|版本1版本2版本3时间。。。功能/市场路标规划版本化的产品开发ƒ通常根据不同的客户群将产品所需的功能划分几个部分分阶段开发：¾先推出第一个版本抢占市场；¾再推出优化版巩固市场；¾再推出新版本拓展市场；20|...........................................产品平台核心技术关键技术积累加上具体特性的产品个性化测试用例集＋共性化测试用例集共性化测试用例集测试用例库21|产品软件硬件模块1模块1模块1。。。单板1单板1单板1。。。软件项目硬件项目产品系统的分层结构模块单板级测试子系统级测试系统级测试并行开发模型22|产品测试流程是分级分层的：产品测试流程：关注整个产品的测试，比较HighLevel；软件/硬件项目测试流程：关注软件/硬件的具体测试，比较Detail；两者有机集成，构成产品测试流程。产品测试流程软件/硬件项目测试流程（产品）项目测试管理HighLevelDetailedWBS1/2(软件/硬件)项目测试管理WBS3模块级产品级产品测试流程和研发项目管理的分层结构测试分层管理23|为什么要采用渐增方式ƒ使开发活动中的测试更有效¾软件功能能够在编码、单元测试完成后立即开展；¾错误被隔离在一个可知、可控的环境中，更易于定位和修改问题；¾功能测试在整个系统进行测试之前已经完成；ƒ基于功能的Builds测试能为Beta提供更高质量的功能子集；ƒBuilds可以组织优先测试关键功能和高优先级功能，减少风险；24|渐增构建的样例BuildAVPBuildDH2BuildECMBuildFRTBuildGSPBuildHOSBuildIVRBuildJSIBuildKMCBuildLBIBuildMBuildNVXH3TimeSmallChangeMediumChangeLargeChangeVeryLargeChangeBuildBQ9BuildCDBAGCLFunctions6714213323131012每个Build增加的模块每个Build增加的特性ExamplefromIBTPilotProject25|一次设计，一次实现FuncSetQ9DBH2SICLVXH3CMRTSPVPOSVRFunc...BuildANewFunc...BuildBNewFunc...BuildCxNewFunc...BuildDNewFunc...BuildExNewFunc...BuildFxxNewFunc...BuildGxxxNewFunc...BuildHxNewFunc...xxFunc...xxFunc...BuildINewFunc...xxxFunc...BuildJxNewxx26|划分Build和制订Build计划ƒ建立功能-模块矩阵；ƒ初步分析、整理功能跟踪矩阵；ƒ合并功能，建立unique-combination；ƒ划分Build；ƒ画Build拓扑图；ƒ整理模块进度计划；27|测试开发产品需求规格增量发布非正式确认就绪评审完成准则正式确认产品发布TransfertoTest软件开发硬件开发产品模块SDV---SIT------SVT(原型机)(初始产品)HW/SWDevelopUT/MIT/MST软件(模块)项目开发和测试硬件(模块)项目开发和测试BBIT联调BBFVTR4TR5TR6TR4A渐增测试模型28|产品的渐增测试模型BuildingBlockIntegrateTest（BBIT）S/WorH/WDevelopSystemLevelVerificationABuildModuleLevelValidation(UT/MIT/MST)BBFVSDVOneorMultiModulesBB(s)ABuildSITBetaTestBuildbBuilddBuildcBuildeModule(s)TR4,TransfertoTestBuildaTR4TR4aTR4TR4aTR4TR4SITBBITBB1UT/MIT/MSTBB2BBITBBITBBITBBITSDVSDVSDVSDVSDV29|做好渐增构建的关键ƒ产品需求定义、系统工程的能力；ƒ优先实现关键功能；ƒ各模块的规模，以及投入到模块中的资源；ƒ考虑Beta测试、早期销售的需求；ƒ项目计划与控制的力度；30|可测性设计的重要性ƒ产品的研发周期与测试成本¾产品自测试能力（能控性与能观性）；¾设计验证测试效率与测试成本；ƒ产品制造系统的成本¾生产测试设备开发成本；¾维修测试设备开发成本；¾测试效率以及维修效率；ƒ产品最终质量与竞争力¾生产测试故障覆盖率；¾开箱合格率、安装调测效率；¾在线例测故障定位能力；31|可测性设计ƒ可测性设计DFT(DesignForTestability)是为了方便产品的测试而在产品设计阶段采用的设计技术和设计规则，作用于从芯片电路设计到产品系统的现场服务生命周期各个阶段。¾可控性；¾可观测性；ƒ可测性设计能够有效地降低测试的复杂性、缩短产品开发时间、减少制造成本和维护成本。32|可测性设计的系统结构能控性故障诊断定位系统状态获取输入输出通道/测试控制台单板软件内置自测试模块性能层生产测试设计验证测试现场例行测试应用层维修测试单元调试系统联调系统控制维护能观性原理图PCB设计主机软件实现层功能层业务层状态观察记录统计模块控制模块33|可测性设计流程验证阶段概念阶段计划阶段开发阶段需求提出需求分析综合映射需求分解与回溯规格形成概要设计详细设计与实现单元测试、SDV、SITBeta测试进行DFT知识产权分析进行DFT智力资本分析确定和评估各种DFT技术方案明确DFT原始需求参与产品包概念评估和选择综合产品需求，得到包需求（QFD1）确定设计需求（QFD2）参与定义技术方案/概要概念参与制定需求分解分配备选方案（子系统级）需求分解分配备选方案的评估选择（权衡分析、风险分析和对策）分解分配可测性需求到软硬件子系统制定系统可测性设计规格系统设计需求审视与回溯参与制定产品结构TR2TR3TR1各模块可测性概要设计各模块概要设计检视与评审原理图检视