001“达美特”协议栈性能自动化测试系统的研发

Alcatel-Lucent阿尔卡特-朗讯-1-“达美特”协议栈性能自动化测试系统的研发（创新型）青岛阿尔卡特朗讯研发部绿萝圈QC小组背景介绍以及小组简介阿尔卡特朗讯科技公司，致力于为全球主要的通信服务商提供设计和网络。借助其在移动、光、数据和语音技术以及软件和服务领域的综合实力全力发展下一代通讯网络（NGN）。“达美特”协议1作为一种基于TCP/IP的互联网应用层协议，由于其灵活的扩展性，被广泛地用于各种NGN网络接口中。据统计有超过90%的鉴权、授权、记费接口以及超过85%的服务质量控制接口都采用了“达美特”协议。在阿尔卡特朗讯下一代网络IP多媒体子系统（IMS）中，基于“达美特”协议的应用正在持续地增长（如图1所示）。这种迅速的增长迫切需要我们提供一个性能稳定的“达美特”协议栈2。我们绿萝圈小组是一个以研发工程师为主，具有高学历、高技术的小组。小组的活动理念是：提高软件质量，解决实际问题。小组的活动类型为现场型，共有7名成员。QC的平均教育时间为16个小时，每周定期活动一次，进行总结和交流，及时发现和解决活动中遇到的问题。表1QC小组成员概况（制表：张树芳2006/04）小组名称绿萝圈小组注册号LR&DQIC06007课题类型创新型活动时间2006.3–2006.12姓名性别文化程度职称组内分工张树芳女本科系统工程师组长、全面组织马小航男博士研发工程师现场实施、系统开发周杰男硕士研发工程师现场实施、系统开发朱磊男硕士研发工程师采集数据崔红女本科研发工程师资料整理王大平男硕士技术经理技术指导、协调聂飞男硕士研发工程师系统功能分析1“达美特”协议(DiameterProtocol)一种计算机之间相互通信所需要共同遵守的一组规则2“达美特”协议栈(DiameterProtocolStack)对“达美特”协议的具体实现，负责数据的传输以及协议间语法和语义的检查和解析。024681012141618（个数）版本5.0版本6.0版本6.1版本7.0应用图1“达美特”协议应用统计（制图：张树芳2006/04）Alcatel-Lucent阿尔卡特-朗讯-2-一、选择课题研究开发运行稳定、高性能、满足客户需求的软件产品。QC小组在2006年4月期间对当前“达美特”协议栈性能测试状况进行了调查分析。用目前的手动测试方法对协议栈进行30分钟的压力测试，采集多名工程师所完成的40次测试数据，并且对测试结果进行数理统计，取平均值，得到活动前“达美特”协议栈的有效测试率仅为30%。其中，有效测试效率p的定义如下：整体测试所需时间有效测试时间::p通过以上分析可以看出，目前“达美特”协议栈测试为全手工测试，缺乏统一的流程，测试步骤复杂，并且测试效率低下。如果能改进测试方法，提高测试效率，缩短协议栈测试周期，就可以缩短软件缺陷的发现周期，提高协议栈性能的稳定性。我公司目前的技术水平，管理水平均具备自行研制和开发自动测试系统的实力。产品开发方针问题分析通过分析提出问题可供选择的课题（1）研发“达美特”协议栈性能自动化测试系统：这个系统主要是针对“达美特”协议栈的每个版本，监控其内存和中央处理器的使用情况，分析每个模块所占用的系统资源。当系统的性能变化超过设定的阈值时，实时地分析并确定原因，从而确保协议栈性能的稳定性。（2）研发“达美特”协议栈健壮性测试系统：这个系统主要测试协议栈对非法消息，超长消息，缓冲区溢出以及恶意攻击等方面的检测和承受能力。从而确保系统具有较强的鲁棒性和健壮性。Alcatel-Lucent阿尔卡特-朗讯-3-小组成员对可供选择的两个课题，运用了矩阵图方法，分析其各自的特点，并从迫切性、重要性、可实施性、预期效果和经济性5个方面，根据不同的权重进行分析和评分（如表1.1所示）。表1.1课题选择矩阵图(制表：周杰2006/04)课题分析评价（每项满分为7分）综合得分迫切性(0.2)重要性(0.3)可实施性(0.2)预期效果(0.2)经济性(0.1)研发“达美特”协议栈性能自动化测试系统容易实施开发周期短投入人力少需求迫切结果直观易于分析677566.3研发“达美特”协议栈健壮性测试系统可以实施需要借助第三方软件产品开发周期较长需求较迫切576455.6根据综合得分情况，最终确定我们这次QC活动的课题：研发“达美特”协议栈性能自动化测试系统。二、设定目标1.通过对同行业相关领域测试系统的调研分析，我们发现存在可利用的开发工具，来实现进程的自动化控制。2.采用客户端模拟器替代实际实验设备，从而可以避免对实验设备的繁琐操作，提高测试的有效性，同时能够节约实验设备资源。3.通过开发工具实现人机交互自动化，减少测试人员对测试过程的干预，提高有效测试效率。通过采用以上技术和方法，我们对测试各环节进行分析，以30分钟的压力测试为例，预计所实现的自动化测试系统的有效测试率可以达到60%（表2.1）：Alcatel-Lucent阿尔卡特-朗讯-4-表2.1自动化测试系统性能预测（制表：马小航2006/04）测试步骤所需时间（分钟）配置文件（手动）1测试系统启动（手动）1启动服务器模拟器（自动）0启动客户端模拟器（自动）0启动性能监控插件（自动）0测试结果图表生成（手动）8测试结果存入数据库（手动）3测试结果网上发布（手动）3运行测试30总计50因此，我们设定目标为：研发“达美特”协议栈性能自动化测试系统，实现性能测试自动化。目标值：将“达美特”协议栈性能测试的有效测试率由30%提高到60%。三、提出各种方案并且确定最佳方案小组成员对“达美特”协议栈性能自动化测试系统的功能分析决定召开头脑风暴会议，首先我们用流程图对头脑风暴会议的过程进行了如下设计：图3.1头脑风暴会议流程图（制图：马小航2006/05）由于实施了头脑风暴会议流程图的规程，会议开得十分成功，大家争先恐后积极发言，就该测试系统的功能定义进行了热烈的讨论，大家一致表示会议开得心情舒畅，十分痛快，学到了很多知识，同时，也积累了大量的信息资料。为进一步的功能分析打下了坚实的基础。开始确定会议时间，地点邀请组外人员参加对参会人员发布会议议题准备小奖品奖励发言者开会组长宣布会议规则参会领导表态参会人员至少发言一次做好会议记录会议直至无人发言时为止宣读会议记录散会结束Alcatel-Lucent阿尔卡特-朗讯-5-（一）功能分析（1）功能定义a.自动执行b.中央处理器性能分析c.内存性能分析d.多平台运行e.数据采样精确f.易于操作维护g.智能配置h.历史数据比较i.界面友好j.输出易读（2）功能分类图3.2功能分类图（制图：马小航2006/05）用户要求使用功能美学功能基本功能操作功能辅助功能自动执行处理器性能分析内存性能分析多平台运行易于操作维护智能配置历史数据比较易于访问输出易读数据采样精确无此项要求Alcatel-Lucent阿尔卡特-朗讯-6-（3）功能整理图3.3功能组件图（制图：马小航2006/05）（4）功能评价为了更好体现小组活动“广泛的民主性”，全体组员对所提出的功能需求程度进行一对一的系统功能评价打分，经过统计汇总，得到了各功能的综合评分。表3.1系统功能评价表（制表：张树芳2006/05）测试系统功能一对一比较结果得分自动执行处理器性能分析内存性能分析多平台运行数据采样精确易于操作维护智能配置历史数据比较界面友好输出易读自动执行x0001111116处理器性能分析1x011111118内存性能分析11x11111119多平台运行100x0011115数据采样精确0001x111116易于操作维护00010x11115智能配置000000x1012历史数据比较0000000x101界面友好00000010x01输出易读000000011x2合计45使用功能基本功能操作功能辅助功能自动执行处理器性能分析内存性能分析多平台运行易于操作维护智能配置历史数据比较易于访问输出易读数据采样精确自动控制模块进程监控模块平台检测模块人机界面模块自动分析模块数据库模块网页发布模块图表生成模块时钟控制模块主测试系统用户界面系统数据库系统网上发布系统协议栈性能自动化测试系统Alcatel-Lucent阿尔卡特-朗讯-7-（二）系统方案提出对图3.2所提出的系统功能需求，小组成员进行广泛的讨论和分析，提出以下两种对策方案，并绘制了PDPC图。方案甲：开发阿尔卡特朗讯“达美特”应用模拟器。采用模拟器作为内核开发试系统。方案乙：二次开发开源协议测试工具并以此为基础开发测试系统。图3.4绿萝圈小组保证工程顺利进展的PDPC图（制图：马小航2006/05）针对甲、乙两个方案，我们也并分别论证其特点和优缺点（表3.2）。表3.2方案分析（制表：周杰2006/05）方案方案特点分析方案甲：开发阿尔卡特朗讯“达美特”应用模拟器。采用模拟器作为内核开发测试系统。优点:服务器/客户端完全兼容支持所有被测端所定义的基本数据类型避免由于软件升级而导致的二次开发不受第三方软件可能存在的限制缺点:测试用例不可配置测试结果无法与第三方软件比较方案乙：二次开发开源协议测试工具并以此为基础开发测试系统。优点:测试用例可配置测试结果与第三方软件可比较缺点:支持的属性数据类型有限需要做二次开发可能存在第三方软件限制，尤其在功能强大的后期版本中A0研发测试系统A1按方案甲实施A2系统设计A3选择测试接口A6系统集成Z系统验证单元模块设计开发主测试系统用户界面系统数据库系统网上发布系统A4B1按方案乙实施A5单元模块测试Alcatel-Lucent阿尔卡特-朗讯-8-（三）甲、乙方案价值分析评价QC小组对提出的两个方案，从其对系统各项功能的满足程度，采用“0,4”评分法进行分析，得出各方案的功能评价系数（表3.3）。同时，针对方案所需要的人力资源投入，从模拟器开发、数据库建立等方面进行了分析，计算出其成本系数（表3.4）：（1）方案功能系数评价表3.3功能评价系数（制表：张树芳2006/05）自动执行处理器性能分析内存性能分析多平台运行数据采样精确易于操作维护智能配置历史数据比较界面友好输出易读功能满足评分(y,s)功能评价系数6895652112功能满足程度方案甲44443323221580.57方案乙22243343431200.43合计2781（2）方案成本系数评价表3.4成本系数【单位：人月】（制表：张树芳2006/05）模拟器开发二次开发开发工具学习测试结果数据库构建数据字典网站发布用户培训合计成本系数方案甲10.20.50.200.20.22.30.44方案乙0.50.500.210.20.52.90.56合计5.21（3）方案价值系数评价根据功能评价系数和成本系数，计算出了各方案的价值系数（表3.5）。表3.5价值系数（制表：张树芳2006/05）方案功能评价系数成本系数方案价值系数方案甲0.570.441.30方案乙0.430.560.77注：价值系数=功能评价系数/成本系数从表3.5可以看出，开发阿尔卡特朗讯“达美特”应用模拟器，采用模拟器作为内核开发测试系统方案的价值系数为1.30，高于方案乙。说明方案甲可以以较低的成本较好地满足系统的功能需求。结论：根据价值系数高为优的原则，我们决定实施方案甲。Alcatel-Lucent阿尔卡特-朗讯-9-四、制定对策表QC小组根据PDPC图（图3.4）进行方案展开，充分运用小组成员的经验、技术、知识对每个项目提出了多个对策，并用矩阵图进行了评价分析，从而确定了最有价值的对策。表4.1对策评价矩阵表（制表：周杰2006/05）序号项目对策评价（满分10分）综合得分选择方案有效性（权数：0.4）可实施性（权数：0.3）经济性（权数：0.2）可靠性（权数：0.1）1系统设计1．参考和改进其它已有的协议栈测试系统体系结构57866.32．直接重用已有自动化测试系统架构481056.53．自行设计“达美特”协议栈性能自动化测试系统体系结构1067108.2√2测试接口选择1．根据应用范围选择应用最为广泛的接口78877.52．根据应用层需求