终端测试标准和流程_XXXX0821

中国移动终端公司终端测试中心2012年8月TD终端测试标准及测试流程介绍总体说明•依据产品库管理办法的要求，测试标准严格以产品白皮书和技术规范为依据•从提升用户体验出发，结合终端常见问题，测试标准为必选项和可选项两类•为提高测试效率，加快产品上市时间，目前的测试流程为每周受理、原则上两周内完成测试内容提要一．TD手机测试标准二．TD手机测试流程三．其他产品测试标准及测试流程四．终端厂商测试信用评级方案五．附件TD终端测试内容TD终端测试内容概览测试中心执行基础业务测试省公司执行网络IOT测试业务基地执行各类客户端测试测试中心执行注：近期拟增加HSUPA和准FR测试要求，请关注TSP公告更新测试中心执行测试中心执行测试中心和省公司执行测试中心执行注1：国际漫游测试由厂家提交自测录像和报告注2：拟增加广州外场测试，请关注TSP公告更新协议、射频、RRM一致性、实验室IOT、机卡兼容等测试北京、南京、杭州3城市外场测试和国际漫游测试各类基础业务、客户端业务、本地功能MTBF、功耗、并发、异常、触屏性能、本地性能、压力测试OTA、音频、结构、CMMB射频用户真实使用场景测试无线通信序号测试标准名称通过标准1协议一致性必选项100%通过22/3G一致性3射频一致性4RRM一致性5机卡兼容6IOT7基本通信8联合检测9HSUPA(拟增加)10准FR(拟增加)业务应用-基础业务和本地功能序号测试标准名称通过标准1彩信必选项100%通过2PIM(自研版)必选项100%通过可选项85%通过3WLAN必选项100%通过4可视电话必选项100%通过5宽带互联网必选项100%通过6流媒体必选项100%通过可选项85%通过7DM必选项100%通过8手机电视必选项100%通过9Kjava必选项100%通过10AGPS必选项100%通过11本地功能必选项100%通过业务应用-客户端序号测试标准名称负责基地通过标准1MM广东所有遗留问题关闭2无线音乐四川3手机导航辽宁4手机视频上海5手机游戏江苏6手机阅读浙江7随e行客户端广东8飞信广东9139邮箱广东10彩云PIM北京11手机动漫福建12Ucweb定制版江苏13新浪微博客户端定制版广东软件可靠性序号测试标准名称通过标准备注1MTBF稳定性必选项100%通过2业务并发必选项100%通过可选项85%通过3功耗必选项100%通过4本地性能必选项100%通过5异常必选项100%通过6触屏性能必选项100%通过可选项85%通过目前仅针对高端旗舰机型要求7压力必选项100%通过硬件可靠性序号测试标准名称通过标准1硬件结构必选项100%通过2OTA3OTA互干扰(针对双卡双待)4音频5CMMB性能注：硬件结构测试：集采和代理产品执行所有测试用例，其他产品执行自由跌落、高温、低温、表面温升、电池容量测试。（依据《G3手机结构和硬件测试规范v2.1》）外场序号测试标准名称通过标准1国内外场测试必选项100%通过2国际漫游测试必选项100%通过注1：国际漫游测试：仅针对智能机执行，要求入库测试完成之前提交自测报告(含录像和样机)。其中集采和代理产品执行香港、北美(2)、欧洲(2)共计5个城市的测试，其他手机产品执行香港1个城市测试。注2：目前国内外场测试城市为：北京、南京、杭州，拟增加广州作为外场测试城市。注3：拟新增的HSUPA外场测试城市为：苏州、泰州、台州。用户体验序号测试标准名称通过标准备注1用户体验（用例测试）必选项100%通过依据白皮书中有关用户体验的要求执行2用户体验（自由测试）必选项100%通过由测试中心和省公司进行实际使用和体验注：用户体验测试仅针对集采中标和代理产品：a.送测范围：终端公司总部（11台）、江苏用户体验基地（5台）、广东用户体验基地（5台）b.送测时间：首轮开始送测c.其他说明：基地用户体验只送测1轮，总部需每轮送测（或升级），用户体验问题最终由总部整体验证•总部测试中心测试要求：必选项要求100%通过，部分测试内容有可选项通过率有要求，如下：–流媒体和PIM(自研版)：可选项通过率85%–其他测试内容无可选项通过率要求•省公司测试要求：问题全部关闭•业务基地测试要求：问题全部关闭•用户体验测试要求：问题全部关闭测试判定标准内容提要一．TD手机测试标准二．TD手机测试流程三．其他产品测试标准及测试流程四．终端厂商测试信用评级方案五．附件厂家自测试基地客户端适配1.产品自测1.产品自测2.测试申请受理2.测试申请受理3.样机提交3.样机提交4.验收测试4.验收测试测试中心测试省公司测试业务基地测试通过失败用户体验测试终端服务基地测试7.样机归还5.现网DM测试6.网参数配6.现网参数配置TD手机测试流程概览•测试受理周期为“按周受理”，测试周期为10个工作日，具体如下：–第(n-1)周的周五开启第(n+1)周的测试的申请窗口，第n周的周二关闭；–第n周的周四中午12:00之前公布受理结果；–第n周的周五17:00之前送测样机至测试中心、省公司及相关测试基地；–第(n+1)周的周一启动测试；–遇节假日提前通知受理安排调整。1234567123456712345671234567567第n+1周申请周期第n周申请周期第n周样机寄送截止点第n+1周测试执行周期第n周结果发布第n周测试执行周期第n+1周样机寄送截止点测试周期安排测试模块测试内容自测报告要求其他说明无线通信IOT、联合检测、机卡兼容不强制要求测试中心在保证验收测试的基础上尽可能提供自测环境协议一致性、RRM一致性、射频一致性第三方实验室盖章报告（厂家须盖章）或内部实验室盖章报告，测试数据必须完整有效如厂家内部实验室或第三方实验室测试结果与验收结果存在严重差异，则后续不认可厂家内部实验室或该第三方实验室提供的报告基本通信厂家盖章报告，测试数据完整有效HSUPA、准FR功能(拟增加)----业务应用彩信、可视电话、PIM、DM、宽带互联网/WAP、流媒体WLAN（射频/功能）、AGPS、本地功能第三方实验室盖章报告（厂家须盖章）或内部实验室盖章报告，测试数据必须完整有效手机电视（功能、接口、UI、射频）1.射频及特殊内容自测不强制要求2.其余部分须提供厂家盖章报告，测试数据完整有效1、产品自测-自测要求(1/2)测试模块测试内容自测报告要求其他说明软件可靠性并发测试、压力测试、异常测试、本地性能、功耗厂家盖章报告，测试数据完整有效MTBF稳定性、触屏性能1.厂家盖章报告，测试数据完整有效2.MTBF可成功运行脚本测试中心现有3种测试工具，每种工具开放两套供厂家编写测试脚本硬件可靠性OTA，具体包括：四频段（TDA、TDF、GSM900、GSM1800）、三个频点（每个频段均进行高、中、低频点测试）、三个场景（人头左耳、人头右耳、人头右耳+右手）、两项指标（总发射功率TRP、总接收灵敏度TIS）第三方实验室盖章报告（厂家须盖章）或内部实验室盖章报告，测试数据必须完整有效如厂家内部实验室或第三方实验室测试结果与验收结果存在严重差异，则后续不认可厂家内部实验室或该第三方实验室提供的报告音频、硬件结构、CMMB灵敏度外场国内测试：北京、南京、杭州、广州(拟增加)国际漫游：北美2城市、欧洲2城市、香港厂家盖章报告，测试数据完整有效1、产品自测-自测要求(2/2)1、产品自测–实验室自测试环境申请•自测说明–测试中心面向各厂家开放实验室，供产品进行验证类自测试；测试中心在保证验收测试的基础上尽可能提供自测资源–厂家在自测试的整个环节内，测试中心将根据厂商需求，提供测试所需的场地、资源(如USIM、实验室TD网络环境等)，并进行所需业务平台测试的数据配置。•流程介绍及说明–请至少提前3天提交测试申请，以便测试中心根据测试资源等情况进行安排。–自测试申请表格填写完成后，请发送相关负责人。–请各厂商统一接口人提交测试申请邮件；测试申请发出后，请随时关注邮件回复的审批结果•厂商自测要求–由于实验室场地、资源有限，请各厂商工程师在入场之后抓紧完成测试工作。如果发现有违反要求从事与自测试无关的事情，测试中心有权清除该厂商出场。–请爱惜和保护测试用USIM、仪表等测试资源，如果发生损坏，视具体情况进行惩罚和赔偿。厂商提交测试申请(邮件提交自测申请表格)审批添加实验室入场权限和时间工程师按照时间入场测试测试结束，提交相应测试或问题解决报告审批不通过不予受理审批通过•DM业务–DM实验室平台地址：–DM实验室平台自注册短信接收号码：1065840409––终端厂商管理域账号以及测试号码的开通需邮件发给测试中心指定负责人–终端厂商使用管理域账号新增终端型号或者上传固件包后，需邮件发给测试中心指定负责人进行审批和下发–终端厂商如要进行软件包的测试，需将软件包邮件发给测试中心指定负责人进行上传和下发•流媒体业务–流媒体服务器地址(现网)：密码：mobiletv•JAVA4.1业务–JAVA4.1的实验室平台参数由测试中心负责配置，厂商如需配置或者修改，需按照附件模板提交给测试中心指定负责人–相关业务的自测结果需依据实验室平台的测试结果–在TSP系统提交测试申请时，需同时上传相关业务配置参数1、产品自测-实验室业务平台参数配置1、产品自测–MTBF脚本审核要求•MTBF脚本审核要求：–脚本应支持终端自动化运行指定的业务流程–当终端自动化运行过程中出现问题或异常导致某测试用例失败时，脚本应将对应执行条目输出fail并保存对应的失败log和失败时的手机屏幕截图–根据用例要求执行一轮循环的时间要求为8小时。–MTBF送测所需资料见附件9•首轮测试–受理通过要求：申请材料完整，数据齐全；自测遗留严重问题不多于35个–测试执行策略：完整测试，当发现自测问题以外的15个严重问题，终止本轮测试，退回并要求产品整改。•后续轮次–受理通过要求：申请材料完整，数据齐全；自测报告结果100%通过（除差异表说明的情况外）；版本修改说明具体详细；并承诺上轮发现问题全部整改完毕–测试执行策略：优先验证上轮发现问题，如发现未修改项则终止本轮测试，退回并要求产品整改；如发现新增10个严重问题，终止本轮测试。•其他要求–对于样机未在周五17点前送到的终端，视为自动放弃本轮测试–每款产品测试限3个轮次，对于超过3轮的产品要求整改2周后再提交申请2、测试受理及执行原则3、测试申请材料要求•测试申请材料要求：测试受理附件需根据编号上传，命名及内容规定如下：命名“附件X-XXX”，内容要求见具体说明。–附件1-无线通信：统计页盖章文件（pdf），第三方实验室报告盖章件（pdf，如果有），完整自测报告（Excel）–附件2-业务应用：统计页盖章文件（pdf），第三方实验室报告盖章件（pdf，如果有），完整自测报告（Excel）–附件3-软件可靠性：统计页盖章文件（pdf），第三方实验室报告盖章件（pdf，如果有），完整自测报告（Excel）–附件4-硬件可靠性：统计页盖章文件（pdf），第三方实验室报告盖章件（pdf，如果有），完整自测报告（Excel）–附件5-外场：统计页盖章文件（pdf），完整自测报告（Excel）–附件6-差异表：测试差异表文件（Excel）–附件7-自测问题：自测问题列表（Excel）–附件8-承诺函：版本修改承诺函及盖章件（pdf，非首轮测试必须提交）–附件9-CTA受理单–附件10-参数配置信息：DM、PIM、流媒体、KJava配置信息表–附件11-客户端适配情况表（如支持客户端）–附件12-手机电视特殊文档：终端测试LOG模板、移动CMMB信息登记表（如支持CMMB）–附件13-802.11n无线指标自测测试报告模板（如支持WLAN）•样机及现网卡提交时间不得晚于当申请周的周五17:00–送测地点：测试中心、省公司、客户端基地、江苏服务基地、广东/江苏体验基地–送测版本：