317-1国标质量特性测试方法建议指导书(可移植性-6.8)

中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第1页/共26页国标质量特性测试方法建议指导书文件编号：CNC-LABS-NTC/317-01版本号：V1.1中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第2页/共26页基本信息文档类别适用机构文档编号创建人/日期杨开敏、邢雨桐/2008.9.20审核人/日期杨洪敏/2008.9.25批准人/日期冯立华/2008.9.26编辑软件修订记录版本号生效日期修改人变更描述批准人/批准日期V1.12010.5.20杨洪敏、徐效宁、彭秀红对质量特性测试方法及测试用例设计补充指导意见。冯立华/2010.5.20中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第3页/共26页目录第1章目的及意义..........................................................................................................................4第2章适用范围..............................................................................................................................4第3章引用标准..............................................................................................................................4第4章术语和定义..........................................................................................................................4第5章各特性测试内容...................................................................................................................55.1功能性...............................................................................................................................55.2可靠性...............................................................................................................................95.3易用性.............................................................................................................................125.4效率性.............................................................................................................................155.5维护性.............................................................................................................................195.6可移植性.........................................................................................................................215.7文件审核.........................................................................................................................24中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第4页/共26页第1章目的及意义保证检测结果的正确性和有效性，确保检测方法既符合国际、地区、国家和行业标准，满足客户的需要，并适合于所进行的检测工作的特点。第2章适用范围适用于测评中心承担的测试项目在测试执行过程中的全部活动。第3章引用标准《CNAS-CL01检测和校准实验室能力认可准则》《CNAS-CL20检测和校准实验室能力认可准则在信息技术软件产品检测领域的应用说明》《GB-T17544-1998信息技术-软件包-质量要求和测试》《GBT16260.1-2006软件工程产品质量第I部分质量模型》第4章术语和定义（1）功能function程序中的一个算法的实现，利用该实现，用户或程序可以执行某一个工作任务的全部或部分内容；（2）需求文档requirementsdocument包含由软件包满足的建议、要求或规则的任何组合的文档；（3）产品描述productdescription陈述软件包性质的文档，其主要目的是帮助潜在的购买者前对产品进行适用性评价；（4）用户文档userdocumentation以打印的或者非打印得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分；（5）测试用例testcase测试者使用的文档化细则，其规定如何对某项功能或者功能组合进行测试。测试用例包括一下内容的细则：——测试目标；中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第5页/共26页——要测试的功能；——测试的环境和其他条件；——测试数据；——过程；——系统的预期结果；（6）维护maintenance是系统维护的一部分。第5章各特性测试内容5.1功能性5.1.1特性定义概念：当软件在指定条件下使用时，软件产品提供满足明确和隐含要求的功能的能力。包含的子特性有：1．适合性：软件产品为指定的任务和用户目标提供一组合适的功能的能力。2．准确性：软件产品提供具有所需精度的正确或相符的结果或效果的能力。3．互操作性：软件产品与一个或更多的规定系统进行交互的能力。4．安全保密性：软件产品保护信息和数据的能力，以使未授权的人员或系统不能阅读或修改这些信息和数据，而不拒绝授权人员或系统对它们的访问。5．功能性的依从性：软件产品遵循与功能性相关的标准、约定或法规以及类似规定的能力。5.1.2功能性检测方法指导意见功能性通常体现在软件的功能测试中，常用的测试方法功能如下：（1）、等价类划分：把程序的输入域划分成若干部分，然后从每个部分中选取少数代表性数据当作测试用例。（2）、边界值分析：一种补充等价划分的测试用例设计方法，选择等价类边中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第6页/共26页界的测试用例。（3）、因果图：从用自然语言书写的程序规格说明的描述中找出因（输入条件）和果（输出或程序状态的改变），通过因果图转换为判定表。（4）、场景法：通过描述流经用例的路径来确定的过程，这个流经过程要从用例开始到结束遍历其中所有基本流和备选流。5.1.3功能特性测试内容（1）适合性：软件产品为指定的任务和用户目标提供一组合适的功能的能力。说明：设计功能适合性用例时，应考虑被测系统实现功能是否满足制定的任务和用户目标，通常需要检查实现功能与用户需求的一致性；并设有符合用户身份的功能，另外，每个任务功能中子模块能够满足该功能的要求；适用性序号测试项目要求测试结果判定1功能的充分性1.是否符合用户需求规格说明书所有要求；2.测试用例需全面覆盖。符合要求P2功能的完整性1.检测软件功能实现的完整程度；2.采用黑盒测试方法，逐一检测系统功能是否完整；符合要求P3实现覆盖率检测软件功能实现的正确程度；符合要求P4功能稳定性检测西系统运行后，功能是否按规格说明要求运行稳定符合要求P中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第7页/共26页P=通过F=不通过N=不要求测试（2）准确性：软件产品提供具有所需精度的正确或相符的结果或效果的能力。说明：通常通过输入测试数据，设计不同精度的、正确或错误的数据来检查或合适产品的准确性；准确性序号测试项目要求测试结果判定1预期的准确性比较测试的实际结果与预期结果间的差别实际结果与预期结果一致P2计算的准确性测试最终用户得到不准确数据的频率不准确的出现的频率为0或趋于0。PP=通过F=不通过N=不要求测试（3）互操作性：软件产品与一个或更多的规定系统进行交互的能力。说明：设计功能互操作性用例时，应考虑被测系统与其他系统进行交互的可实现能力；是否考虑了相关接口设计。互操作性序号测试项目要求测试结果判定1数据的可操作性（基于数据格式）测试软件自身的内部接口中涉及到的数据格式是否与规格说明书相符合。满足要求P2计算的准确性1.测试是否在目标软件与其他软件之间交换数据的功能；2.记录对使用接口功能和失败的次数失败的次数为0或趋于0P中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第8页/共26页P=通过F=不通过N=不要求测试（4）安全保密性：软件产品保护信息和数据的能力，以使未授权的人员或系统不能阅读或修改这些信息和数据，而不拒绝授权人员或系统对它们的访问。说明：通常需要设定不同级别的管理访问权限。安全保密性序号测试项目要求测试结果判定1访问的可审核性1.测试软件是否具有当前使用系统的用户列表；2.测试软件是否具有当前使用系统的历史记录；软件具有在线用户显示和统计功能P2访问的可控制性对访问的控制程度如何模拟非法入侵故障事件，观察相应时间满足要求P3防止数据的讹化1.检测软件防止数据的丢失能力；2.检测软件备份和恢复的策略；3.检测软件数据备份功能是否可用；4.检测软件数据恢复是否可用；满足要求PP=通过F=不通过N=不要求测试（5）功能性的依从性：软件产品遵循与功能性相关的标准、约定或法规以及类似规定的能力。如电信业的业务支撑系统中计费功能，需要遵循相关电信业务规则。功能性的依从性序号测试项目要求测试结果判定1功能性的依从性1．测试软件产品的功能符合法规、标准和约定的程序；满足要求P中国网通集团宽带业务应用国家工程实验室有限公司网络研究与测评中心第9页/共26页2界面标准的依从性1.测试界面的功能符合法规、标准和约定的程序；满足要求PP=通过F=不通过N=不要求测试5.1.4测试工具使用指导意见测试用例的设计需要参照《313-1QC管理手册》；5.2可靠性5.2.1特性定义概念：在指定条件下使用时，软件产品维持规定的性能级别的能力。包含子特性有：1．成熟性：软件产品为避免由软件中故障而导致失效的能力。2．容错性：在软件出现故障或者违反其指定接口的情况下，软件产品维持规定的性能级别的能力。3．易恢复性：在失效发生的情况下，软件产品重建规定的性能级别并恢复受直接影响的数据的能力。4．可靠性的依从性：软件产品遵循与可靠性相关的标准、约定或法规的能力。5.2.2可靠性检测方法指导意见可靠性是软件无故障执行一段时间的概率。衡量软件可靠性的方法包括正确执行操作所占的比例，在发现新缺陷之前系统运行的时间长度和缺陷出现的密度。测试在断网、断电、异常数据和异常流程等情况下软件的处理和恢复能力。5.2.3可靠性特性测试内容在设计可靠性测试用例时，通常需要考虑被测系统能在无错