FEX-A-FEX-VM-FEX-V3-2

CiscoConfidential1©2010Ciscoand/oritsaffiliates.Allrightsreserved.思科FEX技术Sep,2012版本号发布日期发布人发布状态备注V12012-09-24JasonWang思科FEX整体技术V22012-10-18JasonWang增加NIV控制平面增加VM-FEX详细配置FEX：FabricExtension©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential2FEX(fabricextension)技术A-FEX(网卡FEX)VM-FEX(虚机FEX)VN-LINKNIV控制平面©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential3•基于国际标准IEEE802.1BR(bridgeportextension)•包括:FEX:Nexus2000系列(fabricextender)UCS2100FEX(UCSI/O模块)A-FEX:adapterFEXVM-FEX:virtualmachineFEX•未来:CatalystFEXCatalyst传统交换机的新特性预计2013年发布•ASR9000nV(如果算的话)FEX技术:fabricextension,区别于extenderC97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential4*IEEE802.1BRpre-standard分布式模块系统，直至ToR(架顶交换机)/服务器网卡/虚机网卡FEX架构统一网络管理FEX作为父交换机的板卡(远程)距离:依据互联SFP+而定使用标准协议IEEE802.1BRIEEE802.1BR*绝大多数应用需要多物理端口OneNetwork父交换机直至ToR网管传统网卡FEXC97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential5Legacy分布式模块系统，直至ToR(架顶交换机)/服务器网卡/虚机网卡IEEE802.1BR*AdapterFEX(A-FEX,网卡FEX)统一、整合1Gb接口为单一物理10G接口将网络延展到服务器使用标准:IEEE802.1BR网管*IEEE802.1BRpre-standardIEEE802.1BR*AdapterFEX绝大多数应用需要多物理端口FEXOneNetwork父交换机直至ToRC97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential6Legacy分布式模块系统，直至ToR(架顶交换机)/服务器网卡/虚机网卡IEEE802.1BR*AdapterFEXHypervisorOneNetwork虚拟化,如物理方式呈现VM-FEX(虚拟机FEX)统一虚拟和物理网络每个虚拟机得到专属交换机端口使用标准:IEEE802.1BRIEEE802.1BR*IEEE802.1BR*虚机网络由服务器管理人员管理网络管理人员*IEEE802.1BRpre-standardVM-FEXFEX©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential8•全面的设计了PortExtention实现方法(FEX)将交换机端口延展到网络的最底层，比如虚机•PortExtender(远程板卡)不属于独立管理设备属于中心的父交换机管理•PortExtender级联(cascade)允许选择恰当的”controlling”父交换机有效实现单播、组播、泛洪•从“extendedport”发出的数据，能够被可靠的隔离到E-channel；通过标记(tag)能够被可靠的标识(identified)并包含对应的E-channelID(ECID)无需事先学习到MAC地址；交换机执行标准的MAC学习功能和所有设备互操作，包括VEB、VEPA、虚拟机、物理服务器、透明服务设备E-tag大小:8Byte；思科Nexus架构使用VN-tag，兼容并增加特性•ControllingBridge+PE=ExtendedBridge单一统一管理节点PEBridgePEPEPEPortExtenderPEvFWServerVM1PEControllingBridgeExtendedBridgeECID©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential9•VN-tag是思科UCS服务器和Nexus交换架构的基础•VN-tag协议管理如下通信:UCSFI和UCSIOM之间N5K和N2K(FEX)之间N5K和A-FEX和VM-FEX之间N7K和N2K•基于VN-tag:销售超过1000万端口(截止2011年)©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential10•IEEE802.1BR:E-tag；思科Nexus架构里，称为VN-tag，兼容E-tag并包含更多特性•在ciscofabricextender和Nexusparentswitch之间插入的informationtag•Ethertype:标识为VNtag•D:表示方向，1表示去往IV(interfacevirtualizer,比如思科VIC网卡)•P:pointer,1表示VNTag里有vif_list_id•vif_list_id:downlinkport的列表,frame被转发的目标(replicated,组播/广播)•Dvif_ID:frame去往的目标虚接口ID(vif_ID)•L:loop,1表示这是个组播frame,由接收到该帧的bridgeport发出;此时接收到该帧的下游IV必须检查源Svif_ID并过滤对应port再转发即(最原始port)•R:保留•VER:tag的版本•Svif_ID:frame的源，vif_ID©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential11•该标准的历史2009年思科将VN-tag提交给标准化组织IEEE建立802.1Qbh工作组，称为”BridgePortExtension”2011年夏季:该提交被从802.1Q里提取出来，单独创建802.1新系统:802.1BRIEEE802.1BR将成为公开标准•VN-tag和BR同样的架构和逻辑关系VN-tag兼容BR，并增强对于业务透明、对于使用透明©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential12场景Nexus父设备FEX(fabricextender)A-FEX&VM-FEX管理整合思科UCS刀片服务器UCSFI6200UCS2100I/O模块UCSVIC网卡(virtualinterfacecard)97%管理被统一思科UCS机架服务器UCSFI6200Nexus5500Nexus7000Nexus2000FEX同上同上非思科刀片服务器Nexus5500NexusB22FEX以服务器厂家自身而定66%非思科机架服务器Nexus5500Nexus7000Nexus2000FEXBroadcom/Emulex/Q-Logic网卡同上C97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential13举例Nexus5000系列父节点Nexus2000系列FEX(fabricextender)虚拟化的模块化交换机系统单一管理节点©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential14•基于国际标准IEEE802.1BR(bridgeportextension)•包括:FEX:Nexus2000系列(fabricextender)UCS2100FEX(UCSI/O模块)A-FEX:adapterFEXVM-FEX:virtualmachineFEX•未来:CatalystFEXCatalyst传统交换机的新特性预计2013年发布FEX技术:fabricextension,区别于extender©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential16FEX(fabricextension)技术Adapter-FEX(网卡FEX)VM-FEX(虚机FEX)VN-LINKNIV控制平面C97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential1710GBase-KX4和10GBase-KR所对应的是2007年发布的IEEE802.3ap标准它们主要用于背板应用，如刀片服务器、路由器和交换机的集群线路卡，所以又称之为背板以太网。该网卡提供2组每组4个KR通道只去往UCS2100FEX256个可编程虚拟接口:包含两部分:1、FixedstaticvNIC即A-FEX(以太和FC)2、DynamicfloatingvNIC即VM-FEX(左侧灰色部分)3、currentCIMCdoesn'tallowtoconfiguremorethan2vHBA逻辑上：ESXHypervisor里，DynamicvNIC，经由StaticvNIC再去往KR思科UCSVIC1280网卡架构C97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential18思科UCSP81EVIC网卡架构FIXedvNIC:主要用作A-FEX包含:static(ESXuplink)、DynamicFloatingvNIC:主要用作VM-FEX包含:DynamicC97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential19服务器1Nexus5500-1Nexus5500-2DynamicvNICs(VM-FEX)(dynamicfloatingveths)Static(Adapter-FEX)vNICsandFixedstaticvetharerequiredbutnoport-profileisassignedtothem提供vmnic上联、ESX管理、存储等以太和FCVM1VM2VM3服务器nVMxVMx虚机移动，vNIC跟随vmotionvmware虚机移动Dynamicfloatingveth;FixedstaticvethESX环境:C97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential20•vNIC在BRCM上配置为VIF•通过BIOS配置，或•进入OS配置•NoAdapterfailover•NoVM-FEXC97-693579-00©2011Ciscoand/oritsaffiliates.Allrightsreserved.CiscoConfidential21•已测试的有:Redhat5.5WIN2K8ESX其他………….？©2011Ciscoand/oritsaffiliates.