云计算环境下网络与系统监控、管理和运维v30

肖德宝华中师范大学网络与通信研究所所长、博士生导师、二级教授云计算环境下网络与系统监控、管理和运维目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展01信息技术用于管理和处理信息所采用的各种技术的总称，包括数据与信息的采集、表示、处理、安全、传输、交换、显现、管理、组织、存储、检索等应用技术。信息技术和信息产业发展信息技术高渗透性高倍增性高带动性高投入性高创新性信息技术的特征通信业软件及信息服务业信息产品制造业狭义信息产业广告咨询等信息服务业广播电视新闻出版广义信息产业传统信息产业新一代信息技术产业计算机的演进1960s1970s1980s1990s2000s2010s任何人、任何时间、任何地点、任何物体均可以实现互联物联网典型3层体系结构更精细大量的传感器的使用，提高了数据采集的实时性、精确性。更智能使人类可管理的范围更加扩大，管理更加智能。更简单物联网技术将对各类设备的管理和控制更加简单和高效。物联网物联网的应用8云计算根据维基百科（Wikipedia）的定义，云计算（CloudComputing）是一种动态的、易扩展的、且通常是通过互联网提供虚拟化的资源计算方式。其主要特点是能够快速部署资源或获得服务，能够按需扩展和使用，能够按使用量付费，并且通过互联网提供服务。云计算这个名词借用了量子物理中的“电子云”（ElectronCloud），强调说明计算的弥漫性、无所不在的分布性和社会性特征。22云计算是什么？•云计算的提供者：以租代售•云计算的使用者：按需使用使用云计算，企业无需增加硬件基础设施投资，训练员工成为专业人员或购买新软件，就能实现增加资源容量或提升计算性能等IT方面的需求集中式数据处理能力的不足，资源利用率不平衡（单机能力）ICT产业由卖产品变为卖服务，从自给自足小作坊到规模化运营用户方便使用，不需要专业知识，设备无需专业人员维护减少初期投资，降低管理开销云计算介绍云计算架构图云计算是分布式计算（DistributedComputing）、并行计算（ParallelComputing）和网格计算（GridComputing）的发展，是这些科学概念的商业实现云计算也是一种新的基础架构管理方法，是一种有效资源的合理共享，它能够把大量的、高度虚拟化的资源管理起来，组成一个庞大的资源池，统一提供服务云计算关键技术数据安全技术数据存储技术分布式计算并行计算数据管理技术云计算关键技术虚拟化技术并行计算•并行计算是通过高速网络相互联接的两个以上的处理机相互协调，同时计算同一个任务的不同部分，从而提高问题求解速度，或者求解单机无法求解的大规模问题。分布式计算•分布式计算是利用互联网上的计算机的CPU的闲置处理能力来解决大型计算问题的一种计算科学。一个工作被分成多个任务包，同时在通过网络连接起来的计算机上运行。虚拟化技术•虚拟化–对计算资源进行抽象•虚拟化对上层应用或用户隐藏了计算资源的底层属性。–将单个的资源（比如一个服务器，一个操作系统，一个应用程序，一个存储设备）划分成多个虚拟资源–将多个资源（比如存储设备或服务器）整合成一个虚拟资源数据存储、管理技术•数据存储技术–云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的高可用、高可靠和经济性–云计算系统同时为大量用户提供并行服务，其存储技术必须具有高吞吐率和高传输率的特点•数据管理技术–云计算系统对大数据集进行处理、分析向用户提供高效的服务，如何从数据中获取有效的信息，这将是决定云计算应用成败的关键–云计算数据管理技术能够高效的管理大数据集，能在规模巨大的数据中分析、找到特定的数据云安全技术•数据安全技术-云安全–将原本保存在本地、为自己所掌控的数据交给一个外部的云计算服务中心，安全性依旧是重要的顾虑–目前云计算数据安全主要通过划分公有云、私有云和虚拟私有公用云，来对不同应用级别下的数据进行保护云计算在信息产业的层次中国企业使用云计算现状中国企业使用云计算现状（续）各国企业使用云计算目的对比分析多数中国企业使用云计算的目的是：希望云计算为企业节省成本，增加灵活性，并非创新或市场增长目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展01云计算环境下的新特点与新挑战云计算环境下网络与系统的监控、运维，存在以下新特点与新挑战：多种异构平台组成需要处理海量数据虚拟化资源的管理对安全的更高要求云计算环境下的新特点云计算可以构建在不同的基础平台之上横向维度：可采购不同厂商的软硬件，有效兼容不同种类硬件和软件基础资源纵向维度：既可兼容当下采购的新设备和新软件系统，也可兼容旧有设备和原有软件系统——在有效利用老资源的同时，保证新老资源平滑过渡多种异构平台组成云计算环境下的新特点云计算的底层需要面对各类众多的基础软硬件资源；上层需要能够同时支持各类众多的异构业务；而具体到某一业务，往往也需要面对大量的用户。由此，云计算必然需要面对海量信息交互，需要有高效、稳定的海量数据通信/存储系统作支撑，并需要实现对云环境下海量数据的监控。BusinessModel海量数据的处理支持云计算环境下的新特点网络环境三大主要资源：计算(服务器)存储(存储设备)网络(交换机、路由器等设备)云环境下不仅包含物理设备，还包含虚拟化技术形成的逻辑虚拟设备传统的网络管理软件大多只考虑对物理设备的管理只有实现对虚拟设备的管理，才真正实现云集群服务器的网络运维管理虚拟化资源的管理云计算环境下的新特点不安全的接口和API针对云端的恶意攻击共享产生的数据安全问题数据泄漏未知的风险场景对云平台提出更高的安全要求对安全的更高要求目录云集群服务器监控系统案例展示04云计算网络监控运维新思路03云计算环境下的新特点与新挑战02信息技术和信息产业发展01云计算网络监控运维新思路网络监控可扩展的监控系统基于捆绑式的网络监管架构系统管理虚拟化资源管理运维服务可视化的网络监控管理基于云端的运维服务云监控调度方案云平台安全管理业务视角的运维管理基于智慧库的自动化运维自动化的流程服务云计算网络监控运维新思路基于捆绑式的网络监管架构可扩展的监控系统可视化的网络监控管理网络监控基于捆绑式的监管架构采用分布式架构，各个管理服务器分别监控各个服务器集群下的子服务器；通过将多套系统进行捆绑，结合负载均衡处理器，连接各个系统，实现万台级别的管理能力；管理客户端具有单一登录，统一显示界面，节点管理权限设置的功能，部署方式灵活，可根据数据中心的规模灵活扩展。监测管理服务器监测管理服务器管理客户端服务器集群服务器集群服务器集群服务器集群基于捆绑式的监管架构数据采集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采集数据采集数据采集系统NDB负载均衡处理系统WEB服务器被监控对象被监控对象被监控对象管理客户端1管理客户端2管理客户端500管理客户端100支持多达500个客户端同时在线。单套系统1000台服务器管理能力，数据轮询间隔5分钟。配置数据库多平台、可扩展的监控系统通过预置、整合各类服务器和应用的监控功能模板，可以有效兼容不同种类硬件和软件的基础资源既可以兼容旧有设备和原有软件系统，又便于随时扩展监控新设备和新软件系统，使云监控系统具有更高的兼容性和更好的可扩展性服务器Windows,linux,unix,IBM,Solaris应用数据库MySql,SqlServer,OracleWeb服务/SQAApache,IIS,网站监测（URL）应用服务器Tomcat多平台、可扩展的监控系统LinuxWindowsIBMAIXHPUNIXOracleSQLServerMQApache….虚拟机各类服务器各类中间件、数据库各类业务系统WebLogic…计费系统营销系统网站…数据收集/预处理（主）B/S结构、浏览器、WEB服务器、处理各类客户请求、数据显示。SNMP采集NREP采集日志采集Agent采集数据收集/预处理（备）告警库性能库报表库数据入库日志分析告警分析性能分析数理统计分析容量分析预测分析策略管理数据处理和分析平台可视化的云网络监控管理云环境中，服务器、应用、业务、网络更为集中,企业IT环境复杂多样只有通过综合的、可视化的展示界面，才能实时掌控云环境整体架构的综合状况和云下业务及其功能要素的实时性能可视化、整合的性能监控展示界面可视化的云网络监控管理在性能监控展示界面中,采用直观的评估指标,来衡量被监控网络的各个服务器节点、服务器下应用等的运行状态服务器类型监测指标windowsPingCPU利用率内存利用率磁盘利用率进程solarisPingCPU利用率内存利用率磁盘利用率进程服务系统平均负荷交换空间利用率打开的文件比率用户数进程总数IBMPingCPU利用率内存利用率磁盘利用率进程CPU统计信息网络使用率换页空间使用率热门工作量管理事件/队列文件/TTYNFS显示每秒调用的NFS状态linuxPingCPU利用率内存利用率磁盘利用率进程服务系统平均负荷CPU统计信息交换空间利用率打开的文件比率用户数进程总数unixPingCPU利用率内存利用率磁盘利用率进程服务交换空间利用率直观、可自定义的性能评估指标可视化的云网络监控管理需要监视的服务器和应用的性能指标，可以根据不同主机/应用，以及不同的环境需要，进行自定义配置直观、可自定义的性能评估指标可视化的云网络监控管理需要监视的服务器和应用的性能指标，可以根据不同主机/应用，以及不同的环境需要，进行自定义配置直观、可自定义的性能评估指标可视化的云网络监控管理云下的服务器集群众多，集群下的服务器又多达成千上万个，因此考虑将传统网络拓扑图分为根图与子图，便于查看与管理分层次的云网络拓扑展示方式可视化的云网络监控管理通过监测采集获得历史监测数据，再引入数理统计学方法，建立较为准确的系统负载趋势分析与容量预测性能趋势预测云计算网络监控运维新思路云监控调度方案虚拟化资源管理系统管理云平台安全管理云监控调度方案云计算环境下对于集群服务器的监控和负载调度的评判分为两种类型：监测各个物理服务器的硬件指标，了解物理服务器的负载状况监测对集群的响应延时，据此调节集群下的资源与服务调度方案虚拟机动态迁移调节负载均衡对集群监控访问实现负载均衡平衡采集流量保证负载均衡虚拟机动态迁移调节负载均衡通过监测各个物理服务器的硬件指标来了解物理服务器的负载状况，当负载过低或者过高时，对云计算集群服务器中的虚拟机进行动态迁移，使各个服务器的负载保持均衡对集群监控访问实现负载均衡为了保证多用户同时访问监控管理系统，通过使用tomcat作为webserver，在访问端实现负载均衡，当访问流量过大时，自适应地将访问客户分流到不同的管理服务器上，保证监控服务器的工作负荷和运行性能ApacheHttpdTomcatProxyTomcatProxyTomcatProxyAJP协议访问用户···平衡采集流量的负载调度方法云环境下的集群可能有万台服务器，需要对大量服务器进行界面展示，因而需要采集大量服务器的数据通过建立平衡采集流量的调度方法，保证监控采集服务器的负荷均衡。数据采集数据采集数据采集系统1DB数据采集数据采集数据采集系统2DB数据采集数据采集数据采集系统NDB被监控对象被监控对象被监控对象监测采集负载均衡处理系统配置数据库TomcatProxyTomcatProxyTomcatProxy···虚拟化资源管理虚拟化资源管理虚拟化计算管理平台虚拟化网络管理平台基于元数据存储的虚拟存储管理平台虚拟化计算管理平台虚拟化网络管理平台VLAN管理不同用户虚拟机之间的网络安全隔离不同物理服务器上的用户虚拟机安全连接、通信网络IP管理按需为虚拟机分配公网IP地址虚拟机关闭公网IP地址回收，提高利用率网络流量控制和监控获得整个云平台网络资源利用率根据各种