产品验收标准草案20150226

O2O产品验收标准编写人：王图坤编写时间：2015-02-26目录一、引言..............................................................................................................................4二、验收项目和验收标准..................................................................................................42.1验收项目......................................................................................................................42.1.1功能项测试..................................................................................................................42.1.2业务流程测试..............................................................................................................42.1.3容错测试......................................................................................................................42.1.4安全性测试..................................................................................................................52.1.5性能测试......................................................................................................................52.1.6易用性测试..................................................................................................................52.1.7兼容性测试..................................................................................................................52.1.8文档测试......................................................................................................................52.1.9特别要求的测试。......................................................................................................62.2验收标准......................................................................................................................62.2.1产品错误的严重性等级(如表1、2所示)...............................................................62.2.2验收标准......................................................................................................................62.2.3验收标准详细说明......................................................................................................82.3验收流程......................................................................................................................92.3.1冒烟测试......................................................................................................................92.3.2常规测试......................................................................................................................92.3.3第三方测试..................................................................................................................92.3.4回归测试......................................................................................................................92.3.5验收完成发布产品......................................................................................................9三、结束语........................................................................................................................10一、引言鉴于目前公司强制性统一的产品验收标准的情况,现O2O事业部自行制定了以下验收标准文档供验收参考，参考人员包括但不限于前端、开发、产品、测试、QA人员。对一般互联网公司而言，三种人需对产品的质量进行控制：测试、QA和产品经理。测试人员是负责“挑问题”的;QA是负责“尽量不出现问题”的;产品经理是负责“是否有问题”的。对互联网产品而言，验收有三层含义：产品功能需求用例化后，用例执行符合预期与需求吻合，正向操作的用户体验良好设计和前端UI符合评审的标准二、验收项目和验收标准2.1验收项目2.1.1功能项测试对产品需求规格说明书中的所列举所有功能项进行测试。2.1.2业务流程测试对产品项目中的典型业务流程进行测试，含：正向流程、逆向流程、异常流程。2.1.3容错测试容错测试的检查内容包括:1)产品对用户常见的误操作是否能进行提示;2)产品对用户的操作错误和产品错误,是否有准确、清晰的提示;3)产品对重要数据的删除是否有警告和确认提示;4)产品是否能判断数据的有效性,屏蔽用户的错误输入,识别非法值,并有相应的错误提示。2.1.4安全性测试安全性测试的检查内容包括:1)产品中的密钥是否以密文方式存储;2)产品是否有留痕功能,即是否保存有用户的操作日志;3)产品中各种用户的权限分配是否合理。2.1.5性能测试对产品需求规格说明书中明确的产品性能进行测试。测试的准则是要满足产品需求规格说明书中的各项性能指标。2.1.6易用性测试易用性测试的内容包括:1)产品的用户界面是否友好,是否出现中英文混杂的界面;2)产品中的提示信息是否清楚、易理解,是否存在原始的英文提示;3)产品中各个模块的界面风格是否一致;4)产品中的查询结果的输出方式是否比较直观、合理。2.1.7兼容性测试参照用户的软、硬件使用环境和需求规格说明书中的规定,列出开发的产品需要满足的软、硬件环境。对每个环境进行测试。2.1.8文档测试用户文档包括:安装升级手册、操作手册和运维手册。对用户文档测试的内容包括:1)操作、维护文档是否齐全、是否包含产品使用所需的信息和所有的功能模块;2)用户文档描述的信息是否正确,是否没有歧义和错误的表达;3)用户文档是否容易理解,是否通过使用适当的术语、图形表示、详细的解释来表达;4)用户文档对主要功能和关键操作是否提供应用实例;5)用户文档是否有详细的目录表和索引表。2.1.9特别要求的测试。如高压力、断电、断网、服务器损坏等极端测试。2.2验收标准2.2.1产品错误的严重性等级(如表1、2所示)2.2.2验收标准1)测试用例不通过数的比例3%;2)不存在错误等级为1的BUG;3)不存在错误等级为2的BUG;4)错误等级为3的bug数量≤5;5)所有提交的错误都已得到确认，有解决方案。表1：严重性等级定义表严重性等级说明1不能执行正常功能或重要功能,或者危及人身安全。2严重地影响系统要求或基本功能的实现,且没有办法解决。3严重地影响系统要求或基本功能的实现,但存在合理的解决办法。4使操作者不方便或遇到麻烦,但不影响执行正常功能或重要功能。5其它错误。表2：错误与严重性等级对应表测试特性错误严重性等级功能没有实现应有的功能;1没有实现部分功能,并且没有替代方案;2没有实现部分功能,但有替代方案。3业务业务流程存在重大的隐患;1业务流程衔接错误。2性能不能满足性能指标2容错由误操作或错误输入等导致死机或系统自动退出;1对误操作、错误输入没有提示;3没有识别非法值和错误输入,导致错误数据存储到数据库中。3安全性密钥以明文方式存储;2没有留痕功能;2各种用户的权限分配不合理2易用性界面不友好,出现中英文夹杂的界面;4提示不清楚,出现原始的英文提示;4界面风格不一致;4查询结果输出方式不直观。4兼容性在特定的软、硬件环境下,不能实现应有的功能;1在特定的软、硬件环境下,不能实现部分功能,并且没有替代方案;2在特定的软、硬件环境下,不能实现部分功能,但有合理的替代方案。3文档文档错误52.2.3验收标准详细说明首先,在表1中定义了产品错误的严重性等级,将错误分为1～5个等级,等级1为最严重的错误,而等级5为最轻微的错误。A.1级错误的描述这一级别的错误一般包括以下内容:没有实现或错误地实现重要的功能;产品在操作过程中由于产品自身的原因自动退出系统或出现死机的情况;产品在操作过程中由于产品自身的原因对系统或数据造成破坏;特殊产品在操作过程中可能危及人身安全等。B.2级错误的描述这一级别的错误一般包括:没有实现基本功能,并且不存在替代办法;没有实现重要功能中的部分功能,并且不存在替代办法;没有满足系统的性能要求。C.3级错误的描述这一级的错误是与第2级别的错误相对应的,在第2级错误中,不存在替代方法,而第3级错误则存在替代方法。D.4级错误的描述这一级别的错误通常为易用性方面的错误。E.5级错误的描述通常为文档方面的错误,如安装手册、操作手册、维护手册中的描述错误。2.3验收流程2.3.1冒烟测试对于研发提交的测试版本，测试人员都需进行冒烟测试，如冒烟测试不通过，则开发人员需重新编译代码，直至冒烟测试通过，测试人员方可根据正式测