网络系统测试与评价-3网络测试方法.

网络系统评价与测试ByHuaxinZeng(曾华燊）ProfessorSouthwestJiaotongUniversityPhDfromUniversityofLondon(1985)[e-mail],[e-mail]4PartII:BasicsofNetworkTestingandEnd-systemTesting4.2端系统的测试方法1、由于网络系统为分层结构，因此，对网络系统的测试因测试观察点的不同而异。根据对协议的观察点组合，ISO9646定义了四种抽象测试法单层/多层协议实现下服务访问点SAP上服务访问点SAP单层/多层协议实现服务访问点SAP测试系统被测系统图4－1对（单层或多层）协议实现的观察点4.2端系统的测试方法•ISO9646定义了四种抽象测试法–本地测试法LTM–远端测试法RTM–分布式测试法DTM–协同测试法CTM下服务访问点SAPITU上服务访问点SAP被测系统上测试器下测试器上下测试器间的协调LTM的特点：A.上下测试器直接对ITU的上下服务界面的服务访问点进行观察；B.测试器置于被测系统之中；C.测试功能最强，但实现该法难度大。图4-2本地测试法示意图①在被测协议对象(IUT–ImplementationUnderTest)的上、下服务访问点直接进行观察的方法——本地测试法（LTM–LocalTestMethod)LTM的优缺点上下测试器直接对ITU的上下服务界面的服务访问点进行观察；测试器置于被测系统之中。优点:测试功能最强，能够全面测试ITU对正常事件的反应和异常时间的反应；上、下测试器之间同步与协调容易。缺点：由于必须将上、下测试器全部在被测系统中实现，因此，必须为每个被测系统实现一个测试系统，工作量太大。因此，只能作为系统开发时的内部测试系统使用，难以作为第三方测试的使用技术。能否简化？能否将测试器移出被测系统？②仅在被测系统外部对被测系统的IUT的下服务界面间接观察的方法——远端测试法（RTM-RemoteTestMethod)ITU的上层协议实现？与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPITUITU的上服务访问点SAP被测系统下测试器与ITU的下服务访问点对应的SAP外部测试系统图4-3ISO的抽象测试法——远端测试法（RTM)RTM的优缺点：优点：在测试系统内部不需要实现任何测试部件，因此，实现一个只有下测试器的测试系统就能够对不同系统中的同类IUT进行测试，而且系统设计与实现都相对简单。缺点：测试能力有限：由于仅能够通过在被测系统外部与IUT下服务界面上的服务访问点间接地访问ITU，因此只能在IUT下界面测试IUT的正常协议交互情况，不能测试违背协议的异常情况IUT的应答与活动情况。由于无上测试器，只能以IUT上层协议“代替”。即使该实现经过测试符合相关协议，该“上测试”只能发送和对IUT的正常行为作应答，不能测试IUT上面的协议异常应答情况。能否综合LTM和RTM的优缺点，对上述测试法进行改进?③对上服务访问点直接访问，对下服务访问点通过外部测试系统的下服务访问点间接访问的观察的方法——分布式测试法(DTM-DistributedTestMethod)与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUT(ImplementationUnderTest)ITU的上服务访问点SAP被测系统上测试器（UT)下测试器(LT–LowerTester)与ITU的下服务访问点对应的SAP外部测试系统图4-4ISO的抽象测试法——分布式测试法（DTM)上测试器UT的实现问题由于上测试器必须在被测系统中实现，因此，上测试器的实现由两部分组成：与测试过程控制有关的部分＋IUT接口适配器（或称IUT接口部分）。图4-5为UT内部结构示意图：UT测试控制部件（即测试状态控制及UT主动测试控制数据与生成测试应答数据生成及收发）IUT上界面内部服务接口适配区IUT(ImplementationUnderTest)UT图4-5上测试器（UT)的内部结构与功能分布式测试法的优、缺点优点：下测试器被移至被测系统之外，因此，在被测系统内需要实现的软件复杂度降低。缺点：由于对ITU的下服务访问点只能进行间接访问，对下界面异常情况的控制能力下降（较难制造异常情况）。为了减少在被测系统中实现的上测试器（UT)的难度，尽量减少其复杂度，部分牺牲测试效率，将LT与UT的工作模式改为主从模式，LT为主，UT主要以应答为主，改称测试应答器（TR-TestResponder)。由于上下测试器分别在两个系统之中，因此同步困难。实例：美国NBS的分布式测试系统的使用说明中特别强调，使用该测试系统必须配备异地专用通信工具——电话，出现问题时，通知被测系统方重新启动被测系统。如何解决LT与UT间的协调同步问题？④在DTM基础上增加上下测试器间的协调同步功能的方法——协同测试法（CTM–CoordinatedTestMethod)与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统上测试器(TR)+TDRP下测试器(LT-LowerTester与ITU的下服务访问点对应的SAP外部测试系统图4-6ISO的抽象测试法——协同测试法（CTM)TDRPTDRP(TestDriverTestResponderProtocol)协同测试法的优缺点优点：具有与分布式测试法同样的测试功能，同时又较好解决了分布式测试法上下测试器之间的同步问题。缺点：尽管与分布式测试法类似将LT与UT间的对等关系改变为主从关系，使TR有所简化，但由于上测试器内必须实现TDRP协议，因此，其上测试器比分布式测试法的上测试器复杂。2、ISO定义的四种抽象测试法小结本地测试法测试功能最全面但实现困难，难以作为第三方测试的技术；远测法实现简单，但测试能力太弱，只能作被动测试（监测）或简单测试的手段；改进后的分布式测试法，即协同测试法，功能居中，但上测试器的复杂性使系统间移至有一定的难度。新的出路在何方？4.3中国人提出的测试方法1、对ISO四种抽象测试法的分析要能够对被测协议实现进行全面的测试，就必须能够直接对IUT的上下服务接口进行直接的访问，直接在服务访问点注入测试控制数据和观察被测对象的应答，以此全面评估IUT的协议活动是否符合相关协议标准。而长期以来人们的认识是：要这样做就只有将全部测试系统放置在被测系统之中。在英国国家物理实验室（NationalPhysicalLaboratory)工作期间，在分析各类测试方法和实现各方法的典型系统的基础上，Zeng意识到应当将复杂的测试功能与服务接口适配功能分离，将数据传回外部的测试系统进行复杂的处理。这就是“渡船”（Ferry)概念提出的背景。受人或汽车借用“渡船”过河的简单实事的启发，提出在测试系统与被测系统间利用“渡船通道”将外测试系统向IUT注入测试控制数据和将IUT应答信息返回外测试器进行复杂处理的问题。2、“渡船”测试法（FerryTestApproach)①早期的“渡船测试法”是针对协同测试法提出来的与ITU支撑层的对等实体与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统下测试器(LT）外部测试系统图4-7用渡船测试法取代协同测试法上测试器(UT）主渡口从渡口接口适配区上测试器收发的数据渡船通道②“钳形渡口”（FerryClip)与用“钳形渡口测试法”（Ferry-ClipTestApproach)替代四种抽象测试法。下接口适配区与ITU支撑层的对等实体ITU的下服务访问点SAPIUTITU的上服务访问点SAP被测系统下测试器(LT）外部测试系统图4-8用钳形渡口测试法取代ISO四种测试法上测试器(UT）主“钳形”渡口从“钳形”渡口上接口适配区上、下测试器收发的数据渡船通道③渡船测试法和钳形渡口测试法后被ISO相关工作组列入端系统的测试方法。后作为实现ISO四种抽象测试方法的通用实现方法。④中国科学院成都计算机应用研究所在两项国家自然科学基金项目、一项“七五”攻关项目、一项中科院院长基金项目和两项四川省应用基础项目的支持下，经过7年的努力，以钳形渡口测试法为基础研究发的OSI传送层协议测试系统获中国科学院科技进步一等奖。5.1中继/中间系统层次模型与内部组织结构①中继/中间系统层次结构模型按照OSI/RM,中继/中间系统是由多组多层结构通过中继/转发机制互联而成的系统，按照带内或带外信令传输概念可分别描述为图5-1和5-2所示的层次结构模型。因此，用户数据的传输过程将在输入单元经多层结构的协议处理和选择输出端口后转发至相应输出单元的。这一转发机制常采用交换矩阵的方式。图5-1用带内信令的观点看Internet的通信子网与路由器内部结构网络中继relay网络层网络层数据链路层数据链路层物理层物理层用户数据流控制、管理流三层平台图5-2用带外信令的观点看Internet的通信子网与路由器内部结构用户数据平面网络中继relay高层:路由协议、SNMP+UDP/TCP网络层高层:路由协议、SNMP+UDP/TCP网络层数据链路层数据链路层物理层物理层信控平台信控平台五层信控管理平台带内信令控制观点可解释范围三层用户数据平台带外信令控制观点覆盖范围带内信令观点无法解释部分。用户数据流控制、管理流②路由器是多个多层结构互联而成的设备，是多个输入输出间的数据转发设备，出于以下的考虑，对路由器的测试不采用分层测试：标准化机构未对中继系统中继功能（RelayFunction)提供任何规范，而由产品生产厂家自己决定，因而对该功能的测试缺乏依据。例如，路由器是N×N的转发设备，与传统交换层相关的协议协议的描述为1×1关系。尽管路由器涉及多个多层结构的实现，出于转发效率的考虑个层间界面不清晰，很难找到可直接访问的界面。从使用者的角度，更关心中继层PDU实际转发效率(也即设备性能），因此可从设备外部进行观测。5.2ISO9646定义的路由器测试方法①回绕测试法(LTM-Loop-backTestMethod)测试器测试器图5-3a回绕测试法示意图被测路由器（RUT–RouterUnderTest）(N)-PDU测试器控制部件测试支撑层（N-1层服务提供者）N层协议实现＋N-中继功能（N-1）-SAP图5-3b回绕测试法控制观察点被测路由器(RUT)PCO测试器回绕测试法（Loop-backTestMethod)的利弊优点：实施简单缺点：测试功能不全面，只测到单个端口的自转发行为，N个端口设备必须分N次进行；且不能测试端口间的相互影响。测试器测试器5-4穿越测试法示意图测试支撑层（N-1层服务提供者)测试控制PCO1测试控制PCO2(N)-PDU(N)-PDU中继功能（路径选择）IP协议IP协议(N-1)-SAP(N-1)-SAP测试器1测试器2被测路由器测试同步手段②穿越测试法（TTM-TransverseTestMethod)穿越测试法（TransverseTestMethod)的利弊分析优点：能够模拟路由器一对端口间的正常工作状况，包括中继功能；一对测试器在同一双端口测试系统中容易实现。缺点：不能同时测试多个端口间的相互影响；尽管可以用多个双端口测试系统性能测试同时测试，但多个双端口测试器间的同步控制困难；现代路由器/交换机可能有数十，上百个端口，很难在同一系统中实现。四川省网络通信技术重点实验室针对这一困难，提出了“路由器多端口并发穿越测试法”(MPC-TTM-Multi-PortConcurrentTransverseTestMethod)并正在开发分布式多端口并发测试系统（DMC-TS-DistributedMulti-portConcurrentTestSystem）。5.3“路由器多端口并发穿越测试法”(MPC-TTM-Multi-