《软件测试技术与质量保证》第四节

2010-2011天津城市建设学院电子与信息工程系唐国峰第二部分软件测试技术第四节测试策略、测试计划3.1测试策略3.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰4.1.1影响测试效果的因素（1）人的因素：测试人员的素质、经验等（2）管理的因素（3）流程的因素（3）制约的因素（成本、环境等）4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.2为什么要谈及测试策略软件测试通常指实际运行被测程序，输入相应的测试用例，判定执行结果是否符合要求，从而检验程序的正确性、可靠性和有效性。软件测试可采用的方法和技术是多种多样的（《软件测试技术与持续质量改进》教材18页列出的软件测试技术的种别就有多达60余种），同样，软件测试可以采用的工具等也是多种多样的（《软件测试技术与持续质量改进》教材P200-205列出了多种工具，大家可以去看一下它们的名字，我们可以看到确实是非常之多）第四节测试策略、测试计划4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰4.1.2为什么要谈及测试策略通常情况下不论采用什么方法和技术，运用什么工具来进行测试，其测试都是不彻底的，也是不完全的，因为任何一次完全测试或者穷举测试的工作量都太大（表现在人员投入太多、工期太长，从而导致的成本过大），所以在实际测试时实行不通的，即无法对每一个产品都进行穷举测试。因此，任何实际进行的测试都不能够保证被测程序中不存在遗漏的缺陷，即对于大多数实际的软件测试，都可能会有没有测到的点，而这些点很可能就是因为实际的测试中因为无法进行穷举测试而被遗漏的缺陷。第四节测试策略、测试计划4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰4.1.2为什么要谈及测试策略为了最大程度的减少这种遗漏的错误，同时也为了最大限度地发现已经存在的错误，还要兼顾投入的成本，在实施测试之前，必须确定将要采用的测试策略，并以此为依据制定详细的测试方案。一个好的测试策略会给软件测试带来事半功倍的效果，它可以充分的利用有限的人力、物力资源，高效率、高质量地完成测试（降低风险、提高软件质量）。测试策略是制定测试计划的基础。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.3不能修复所有的软件故障——原因：没有足够的进行修复；修复的风险较大；不值得修复；可不算做故障的一些缺陷；“杀虫剂现象”。——结论：关键是要进行正确的判断、合理的取舍，根据风险分析决定哪些故障必须修复，哪些故障可以不修复。*杀虫剂现象：就是当你只是使用某些固定的方式来测试软件时，开始可以发现一些缺陷，但是时间一长有些缺陷就隐藏了起来，很难再现，这种情况类似于生物中的害虫对杀虫剂的抗药性一样。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.4软件测试的代价——工作原则：就是如何将无边无际的可能性减小到一个可以控制的范围，以及如何针对软件风险做出恰当选择，去粗存精，找到最佳的测试量，使得测试工作量不多也不少，既能达到测试的目的，又能较为经济。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.4软件测试的代价4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划软件缺陷故障数量测试工作量测试中测试后测试费用遗漏缺陷数目优化测试量图4.1.4测试工作量和软件缺陷数量之间的关系4.1.3影响测试策略的因素（1）测试完成的标准（2）资源状况4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.4测试策略的确定输入：（1）要求的硬件和软件组建的详细说明，包括测试工具、测试环境。（2）针对测试和进度约束（人员和进度表）而需要的资源的角色和职责说明。（3）测试方法（标准）。（4）应用程序的功能性和技术性需求（需求、变更请求、技术性和功能性设计文档）（5）系统不能够提供的需求（系统局限）。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.4测试策略的确定输出：（1）已批准和签署的测试策略文档、测试计划、测试用例。（2）需要解决方案的测试项目（通常要求客户项目的管理层协调）。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.1.4测试策略的确定过程：测试策略是关于如何测试系统的正式描述，要求开发针对所有测试级别的测试策略。测试小组分析需求，编写测试策略并且和项目小组一起复审。4.1测试策略2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.1测试计划的目的测试计划的目的是在一种有组织的方式下，为完成测试打好基础。它是测试实施前的一个非常重要的工作。专业的测试必须以一个好的测试计划作为基础。从管理的角度来看，测试计划是最重要的一份文档。*测试计划是一个不断更新的文档，在螺旋式开发过程中，测试计划要随着软件系统的不断变化而变化。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.2好的测试计划应该具有的特点（1）有机会发现大部分缺陷。（2）为绝大部分代码提供测试覆盖。（3）具有灵活性。（4）可以很容易地执行、能够自动化地执行、具有可重复性。（5）定义要执行的测试种类。（6）清晰地记录期望的测试结果。（7）当发现缺陷时提供缺陷修改时间。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.2好的测试计划应该具有的特点（8）清楚地定义测试目标。（9）阐明测试策略。（10）清楚地定义测试结束标准。（11）没有冗余。（12）识别出风险。（13）记录测试需求。（14）定义测试交付物。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.2一个富有经验的、聪明的测试经理可以从测试计划中看到什么：（1）项目的规模（2）系统的演变历程（3）预见测试可能的结果（4）开发团队内上游设计人员的水平4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3编制测试计划的方法依据教材P80的图12-1，我们可以看到测试计划的编制大致要经历哪些步骤。这些步骤不都是必须要做的，根据具体的项目的不同，有些步骤可以省略，但是有些步骤却是必须的，不能省略。编制测试计划的步骤可以大致分为三个部分：依次是建立测试计划、定义度量目标、计划的评审和批准。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.1引言部分这部分定义了项目的简要背景，描述了促成系统开发决策的事件或当前状态。引言部分中同样需要包含关于管理的概要描述。应当列出所有可能用到的文件都并且描述出状态。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.2定义总体的功能需求通常，测试计划的指定的实质性的第一步工作是将软件分解成较小而且相对独立的功能模块，然后写出测试需求。测试需求有很多分类方法，其中最常用的就是按照功能划分需求。功能规约由以下各部分组成：功能的层次分解、功能窗口结构、窗口标准以及待开发系统的最低运行需求。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.3确定手动/自动测试的种类几乎任何应用程序中都要用到的三种测试类型：（1）功能测试：功能测试占测试工作的一大半，主要关心功能是否能够正确地执行。（这是用户最关心的）（2）用户接口测试：或者称为图形用户界面测试，检查用户交互功能或者功能窗口结构。它保证对象状态与功能有适当的依赖关系，并且在各功能之间提供了有用的导航。（3）回归测试：回归测试就是在软件或环境被修改后进行再测试。回归测试有两个重点，一是有没有产生新的漏洞，二是缺陷是否真的消除。选择回归测试可以选全部的用例进行再测试，也可以选具有一定风险的用例再测试。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.3确定手动/自动测试的种类其他需要考虑的测试类型包括系统测试和验收测试。系统测试是对整个系统功能性、性能表现和整体使用性的最高层次的测试和评估。验收测试是一个由用户执行的可选测试，目的在于证明应用程序的能力满足了用户的需求。这个测试是否执行取决于项目的形式。有时系统测试已经足够了。（考虑成本，是否是客户要求）最后，我们需要定义能够使用测试工具自动执行的测试。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.4确定测试结束标准4个可能结束测试的标准（1）计划的测试时间期满：完全没有质量可保证。（2）发现了预先确定的缺陷数量：这个标准的问题在于如何估计能够发现的缺陷数量以及可能会过高地估计缺陷数量。（3）执行所有的正常测试都不再发现任何缺陷：这个标准的主要问题是，在这种方式下，测试人员不会很主动地去设计破坏性的测试用例（4）以上3项的结合：这是通常的做法。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.5制定回归测试策略回归测试是根据螺旋开发过程、调试、维护或者新版本发布时所做的变更对应用程序进行的测试。这种测试应该在系统的功能更新或修复已经完成之后进行，以保证我们所做的变更没有产生预计之外的影响。对于每次螺旋过程，测试集合中的所有测试都能重新执行一遍是最理想的，但是由于时间的限制，一般来讲是不能实现的。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.5制定回归测试策略再测试矩阵是一个非常好的工具。可以在第一个测试螺旋过程之前建立再测试矩阵，但是我们要在之后的螺旋过程中维护好这个矩阵。再测试矩阵4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.6定义测试交付物测试的交付物由测试计划、测试设计、测试开发和缺陷记录产生。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.7组建测试团队人员部分包括人力资源分配和需要的相关技术。在测试中，有两个职责范围：测试应用程序，这是测试团队的责任；管理测试过程，这由测试经理负责。测试经理直接管理一名或多名测试人员，他是质量保证和开发团队之间的接口，管理整个测试的执行过程。其职责包括以下几项。设立测试目标。定义测试资源。建立测试规程。开发并维护测试计划。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.7组建测试团队设计并执行自动测试工具脚本。测试用例开发。提供测试状态。编写报告。分配队伍成员的角色。管理测试资源。定义标准和流程。保证测试过程的质量。培训队伍成员。维护测试统计和度量标准。4.2测试计划2010年11月19日天津城市建设学院建设学院电子与信息工程系唐国峰第四节测试策略、测试计划4.2.3.7组建测试团队测试团队必须由一组有以下职责的队员组成。根据计划执行测试用例。评价测试结果。报告错误。设计并执行自动测试工具脚本。建议改进应用程序。记录缺陷。4.2测试计