软件测试的艺术(第3版)第07章-可用性(用户体验)测试

7.1可用性测试的概念7.2可用性测试的基本要素7.3可用性测试过程7.4可用性测试注意事项7.5小结第7章可用性（用户体验）测试7.1可用性测试的概念7.1可用性测试的概念简单的一句话即可概括：观察用户使用产品的情况。通过观察有代表性的用户，完成产品的典型任务，而界定出可用性问题，并解决这些问题，目的是让产品用起来更容易。7.1可用性测试的概念研发完成了新的产品功能或是创造了新的产品特性之后，总是有这样的疑问：最新的版本是不是比以前的版本更好？我们的产品与竞争对手的产品使用起来一样容易吗？用户是否能够按照我们设计的流程完成他们所要完成的工作？我们的设计师是否按照用户的操作习惯和产品的特性设计排版了？7.1可用性测试的概念可用性测试评价指标效能用户完成特定任务和达到特定目标时所具有的正确和完整程度效率用户完成任务的正确和完整程度与所使用资源（如时间）之间的比率满意度用户在使用产品过程中所感受到的主观满意和接受程度7.1可用性测试的概念形成性测试●在产品或网站的开发过程中进行●用来发现设计的可用性问题例子：在应用中，用户能否找到和使用“按揭计算器”按钮，来顺利输入贷款贴息呢？总结性测试●在开发后期进行●用来确认某个产品已经实现预期的目标例子：新的应用有没有按预期的比率提高了转化率？用户可用性测试的测试点可以从以下方面来考虑：1.是否每一个用户交互设计都考虑到最终用户的理解力、教育背景以及环境压力？2.程序的输出是否有意义、没有侮辱性的词语，以及是否含糊不清？7.2可用性测试的基本要素3.用来错误诊断的提示信息（errormessage）是直白易懂，还是需要计算机博士才可以读懂？比如，程序有没有输出这样的报错信息：“IEK022AOPENERRORONFILE‘SYSIN’ABENDCODE=102“。在20世纪七八十年代，程序输出这样的报错信息到处可见。今天大众化的软件系统在这一方面做得比以前强多了，但是用户还是会碰到没有任何帮助价值的错误提示信息，诸如“发生了一个未知错误”或“程序发生错误需要重新启动”。若是你自己设计程序，则应该避免输出这类没有意义的错误信息。即使程序不是你设计的，作为程序的测试人员，也应该帮助改进这些人机交互的地方。7.2可用性测试的基本要素4.用户界面上是否保持概念的一致、内部的连贯性、语法的一致性？是否符合约定的使用习惯、语义和句法规律、格式、样式以及缩写习惯？5.需要高精确性和准确度的软件系统是否提供了足够有效的输入验证？以网上银行系统为例，登录时应该要求提供账户号码、账户名以及PIN码（个人识别密码），以用来检测用户的合法性。7.2可用性测试的基本要素6.系统是不是包含了选项，或者包含的一些选项不会使用？基于软件测试的设计和考虑，现在软件的一个发展趋势就是只提供这些最常用功能的菜单项。于是一个设计良好的软件能够从用户的使用行为得到启发，设计出用户经常使用的一些功能的菜单选项。即使拥有这样智能的菜单系统，成功的软件设计还必须考虑如何使得软件的功能更符合人的思维逻辑和直觉。7.2可用性测试的基本要素7.对于来自用户的输入，系统是否能够及时做出反应？比如，当用户单击鼠标时，选中操作生效需要耗费一些时间（访问远程系统的时候通常都这样），则需要显示一些信息，告知用户需要等待。有时也称这样的测试为组件测试，用以组件交互以及用户反馈、做出合理的选择。7.2可用性测试的基本要素8.程序的操作是否很容易上手？如是否有效提示用户需要输入大小写敏感的文本（例如：常见的密码输入）？再如，一项创新如果设计一连串的菜单和选项操作，它能轻松返回到主界面（例如：常见的游戏菜单选项都有一个主菜单）用户是否能够轻易返回上一级或者下一级？7.2可用性测试的基本要素9.软件的设计是否有助于用户准确输入？通过分析用户在输入数据或者操作软件时遇到的错误，测试可以统计出哪些属于可以被用户订正的错误，而哪些会导致软件异常。10.用户的操作可以轻松重复？换一句话说，你的软件是否能够让用户学会更好地使用该系统？7.2可用性测试的基本要素11.用户是否确定那个在众多的功能和菜单中来回切换而不发生意外？对软件主观的评价可能会导致用户是否会继续选择使用该软件。使用结束时的输出结果会让用户担心还是满意？用户会推荐给其他人使用该软件，还是仅仅自己用就算了？12.软件的功能实现是否达到了设计规格要求？最终可用性测试需要包含一项软件规格说明书与产品实际使用情况所做的评估。从用户的角度来看，在实际使用环境中软件的表现是否真的不负众望？7.2可用性测试的基本要素可用性或基于用户的测试基本上属于黑盒测试的范畴。如果由于软件设计不够优美、交互界面繁琐难用、规格缺失或被忽视等原因，而导致用户感觉该软件未能按照规格正常操作，这就等于宣判这一项目开发失败。用户可用性测试应该从功能缺陷到不符合人机工程学的设计失误来揭示软件设计存在的问题。7.2可用性测试的基本要素7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现以极简电视可用性测试为例获得问题的背景，识别可用性问题：用户更喜欢哪种操作界面？——《XX电视界面评测》用户使用飞梭是不是提高了操作效率？——《XX遥控器可用性测试》在Android系统下，用户是更喜欢海信还是TCL？——《XX与XX产品比较测试》各功能模块是否好用？——《XX电视可用性测试》1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现7.3可用性测试的过程测试5名用户-找到85﹪的缺陷改进设计再次测试5名用户-找到85﹪的缺陷改进设计再次测试5名用户-找到85﹪的缺陷1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现7.3可用性测试的过程找什么样的用户来？避免过度关注人口统计学数据！！！Step1:从描述开始：尝试描述你想要什么样的用户来参与测试；该产品的目标用户是哪些？Step2：优先关注产品使用经验和行为与该产品相关的经验，例如：相关的知识技能水平，相关产品的相关经验，例如手机，游戏机；用户的网络使用经验，例如：上网频率，网络应用等；用户的电视使用经验：7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现样本量样本条件年龄25-45岁，性别不限；使用触屏智能手机（安卓系统尤佳）；思维活跃，善于表达；非敏感职业者（软件、硬件工程师），财务、行政、前台等尤佳；对网络依赖度高，平均每天下班后累计上网时间不低于1个小时（通过pc或手机、平板电脑上网）；经常使用手机、平板电脑观看视频、电影电视剧或通过usb下载到电脑上观看。分类外部用户内部用户总计计划4人5人9人7.3可用性测试的过程选择角色筛选调查（问卷筛选）招募渠道内部员工招募代理机构鼓励机制外部项目提供礼品或现金内部项目提供小礼品或免费食品被试安排时段候补被试7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现编号用户分类姓名性别年龄职业手机体验时间联系方式P0预测试女24用户体验实习生Android2月10日155````1616P1外部用户女24华为人力资源Android2月11日158````2027P2女25电子厂职员iphone150````0930P3女33建筑公司职员Android2月12日159````7066P4男41IT技术人员Android130````8918P5内部用户男29R&D产业政策研究室Android2月13日159````6032P6女26R&D人力资源部iphone186````2415P7男25OBC人力资源部iphone2月14日135````7296P8女23R&D财务部Android135````68277.3可用性测试的过程测试大纲测试目的介绍保密协议测试情景操作评分表（主试打分）问卷（被试评分）结束性提问对被试进行简要小结工具记录工具（写字板，笔记本、录音、录像、软件）任务卡片手表如果需要，平衡不同设计或产品的展示顺序记住要做预测试7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现测试情景应为支持可用性问题而设计是一个简单的故事般的场景要求被试执行一个任务使用用户的术语任务是清晰明确的不提供操作任务的步骤●“你和家人下个月想去夏威夷旅游。找到最便宜的机票并利用这个信息（递给用户信息卡片）订票。”●“一个客户打来电话告诉你他搬家了。他叫李平。请用这个系统更改他的地址。”●“去google.com点击图片，输入‘海洋’，然后找到海洋的图片”。●“在淘宝的美容板块买一些东西。”7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现被试：实际的或潜在的用户并非设计者或开发者主持者：从计划、实施到报告，监督整个测试过程观察者：记录发生的事件不与被试互动协助测试报告撰写7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色安排5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现哈哈，又到了周末了，可以肆无忌惮的看电视咯。情景设计任务流程7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现欢迎提问观光•自我介绍•解释测试的目的和时间•向用户强调测试的对象是产品而不是用户•请用户尽量出声思维•告知测试会录音录像，但结果完全保密•签署保密协议•职业•上网情况•产品（关联产品）使用情况•平时的产品偏好•······•请用户随意浏览，但不要操作测试前5min7.3可用性测试的过程用户执行任务问题探讨•宣读任务•不要以任何方式表现出用户正在犯错误或操作太慢•仔细地观察，并认真聆听用户的建议•识别用户的情绪，必要的时候选择停止任务•用户遇到困难时尽量不要提供帮助，可给予适当鼓励•在用户完成一个场景时可适当的问“为什么刚才这样操作”，但尽量简单•询问哪些在过程中想深入询问但没有询问的问题•询问在观察的同事关心的问题测试中30~50min7.3可用性测试的过程测试后1h道别准备下一场测试组织大家整理记录•感谢用户•给用户报酬•将用户送出门口•保存录像文件•清楚记录，或准备产品7.3可用性测试的过程7.3可用性测试的过程用户能执行要求的任务么？期望的信息有没有找到？用户找到有效的途径了么？他们理解自己正在做的事情吗？他们碰到了什么问题？•术语•不知道接下来要去哪里做什么•没有找到他们要找的东西他们能从错误中恢复吗？测试中观察倾听和试探仔细地倾听被试如，表示意外的感叹词“哎呀”是一个很重要的数据。注意任何犹豫不决的情况探寻以获得深层次动机提醒他们把所想的说出来（有声思维）提防暗示性的问题如，你会如何关闭一个文件？（问题透漏了答案），应该说“这个文档已经处理完了，现在你会做什么？”7.3可用性测试的过程1.项目启动会2.招募被试3.创建测试大纲4.准备测试设备和角色5.进行测试6.数据分析7.将测试结果排序并提出建议8.结果呈现客观：1.参加者完成任务所需的时间2.对于某一任务，能正确完成任务的参加者个数3.参加者完成任务时所犯错误的次数4.试验员提供提示的次数5.参加者完成任务时不得不借助外界协助的次数6.参加者是否使用了最佳的完成任务的方法7.参加者使用用户手册或