任亮---大数据时代软件测试项目度量和预测分析系统21

全球软件案例研究峰会摘要软件测试越来越重要，但测试过程更多时候像一个黑盒子：客户不知道测试能够带来的量化的价值也不清楚按目前的进展是否会按时完成任务以及退出测试的时机是否合理等。我们设计的软件测试度量和预测系统希望改变这种测试局面，可以自动显示测试项目的价值及测试过程是否异常等。该系统对测试中心十几年来的数千个测试项目的测试数据进行分析；同时以质量,效率和进度为重要维度对软件测试全过程进行度量。最终的预测和度量都在一个应用中自动展示给项目利益相关人，从而更好的计划和管理项目，并对测试项目（产品）质量提供信心。全球软件案例研究峰会大数据时代软件测试项目度量和预测分析系统•案例简述我们希望通过测试中心十几年数千个测试项目的数据建立预测模型来预测项目未来缺陷的时间分布，并将所有项目的实施状况在系统中自动显示出来。•案例目标预测项目缺陷分布，能直接指导项目；同时利用这些数据来评估测试能够带来的价值，从而优化测试项目的投资，将测试服务模型升级为可预测可量化的智能测试服务。全球软件案例研究峰会•CSTQB高级专家•HP资深质量经理•资深培训讲师•十余年软件测试管理和质量管理经验•鸿越通讯，凯门通讯，华为，IBM，HP演讲者介绍:任亮全球软件案例研究峰会为什么需要这个系统•何时终止测试？•测试价值有多大？•缺陷移除率是多少？•测试投入多少钱最合适？•如何可视化显示项目状态？•健康项目/告警项目/问题项目比例？•……全球软件案例研究峰会怎么做到？交付物•自动抽取数据平台•实施报表展示平台•分析预测算法平台人员•项目人员•业务专家•技术专家全球软件案例研究峰会管理工具工作量数据建模应用接口数据抽取/清理数据挖掘数据源分析展示实践1.1:度量系统全球软件案例研究峰会度量要考虑的问题•通用性•度量粒度•度量项数量•数据真实性•数据收集方法•……全球软件案例研究峰会度量系统建议•利益相关人的目标导向•全生命周期度量•工作量收集工具•尽可能多的自动化全球软件案例研究峰会预测要考虑的问题•历史数据清理•选择哪些模型•如何选择因素•如何调整参数•在项目中推广•……全球软件案例研究峰会单因素分析根据单因素（时间）分析，进行建模，可预测出项目缺陷总数。全球软件案例研究峰会敏捷解决方案基于周期性项目的少量多因素分析全球软件案例研究峰会收益优化方案根据缺陷数量和缺陷成本，进行建模，期望得到通过对测试的投入，可使项目收益最大化。全球软件案例研究峰会目标:可预测的软件测试IntelligentMatchingMaximizedReuseScientificPrediction3.22.523.23.805ServicesLevelTestTypeServicesLevel&TestTypeNewAutomationPerformanceSecurityMobilityTestingTypeServicesLevelCostNewFunction3.2$100KAutomation3.8$20KPerformance2$15KSecurity2.5$30KMobility3.2$80K010ResourceTime(Day)Resource&Time0102030405060DefectTime(Day)Defect&TimePeopleAssetsDefectsTestToolMaterialSolutionTestcasesReuseLibrary……ToolTestCasesTPI®ProcessandServiceLevelModelPortfolioExpertSystemInitialCostPredictQualityValue-AddOptimizedCostProjectDataSourcesStatisticalModelTMap®全球软件案例研究峰会案例启示•数据平台非常重要•数据清洗工作量非常巨大•好的度量系统带来巨大的价值•算法很重要，更重要的是如何落地•测试的价值可以评估，人员的能力需要量化全球软件案例研究峰会讨论&交流全球软件案例研究峰会!