大数据、云计算与移动应用(第5讲)云计算应用实例119

刘鹏[e-mail]@专注云计算中国云计算www.chinacloud.cn中国大数据www.thebigdata.cn2网格计算池—国内云计算的提出反垃圾邮件网格—云安全的前身GridServerGridServerGridServerGridServer邮件服务器移动终端移动终端PC用户邮件服务器ToOtherGridNodesToOtherGridNodesPC用户PC用户ASGServerASGServerASGServerASGServerASGServerASGServerASGServerASGServerASGServerRAID-M：磁盘矩阵海量存储系统系统总线RAID控制器RAID控制器RAID控制器RAID控制器Memory(DiskCache)DiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskDiskCPU高性能网卡高性能交换机高性能网卡世界计算机排序比赛冠军7多摄头与单监视器的矛盾人类注意力的不集中被动录像，事后查询海量视频图像无法利用大整合、高共享，多平台多格式的视频监控资源需要统一纳入到大平台管理；以云计算技术解决海量视频数据的存储、检索、访问、管理问题；提供社会监控资源并网、多级联动及资源共享服务平安城市云技术架构平安城市建设面临的主要挑战1.如何整合众多的视频资源2.如何存储极其海量的数据3.如何做到减少人力、实时指挥4.如何支持各类终端访问平安城市建设面临的主要挑战1.如何整合众多的视频资源2.如何存储极其海量的数据3.如何做到减少人力、实时指挥4.如何支持各类终端访问分级资源虚拟化一级监控中心二级监控中心三级监控中心四级监控中心省厅监控中心市局监控中心分局监控中心派出所监控中心1其他业务部门监控中心派出所监控中心N……视频图像采集设备声音采集设备报警设备数据社会监控中心监控资源公安用户终端社会用户终端用户终端传输网络传输网络传输网络传输网络传输网络系统网络结构公安外网系统公安内网系统物理隔离网闸防火墙互联网移动公网公安专网模拟摄像机DVR网络摄像机移动用户终端网络摄像机用户终端接入转码存储控制大屏省厅/市局监控中心系统检索识别分局/派出所监控中心系统模拟摄像机DVR网络摄像机转发监控终端调度GIS管理终端服务器集群系统综合警务OA系统情报系统pGIS等分局/派出所监控中心系统公安内部专网分局/派出所内网系统云视频接入模拟摄像机网络摄像机现有的视频服务器API接口…模拟摄像机云接入服务器集群接入认证、负载均衡、流转发、设备注册服务等传输网络（互联网、移动公网、公安专网）网关社会监控资源模拟摄像机网络摄像机RTSP/RTP/RTCP协议分布式中心控制服务器…云转码、云存储服务器集群…信令处理/任务调度监控终端管理终端平安城市建设面临的主要挑战1.如何整合众多的视频资源2.如何存储极其海量的数据3.如何做到减少人力、实时指挥4.如何支持各类终端访问云存储系统云存储管理界面云存储性能大数据读性能大数据写性能超低功耗云存储节点1PB云存储系统1.8PBCSTOR云存储系统CSTOR云存储系统工作原理CSTORA8000云存储系统MINICLOUD平安城市建设面临的主要挑战1.如何整合众多的视频资源2.如何存储极其海量的数据3.如何做到减少人力、实时指挥4.如何支持各类终端访问智能分析功能特征提取图像质量分析图像拼接人员行为检测智能分析核心技术类检测类烟雾检测火焰检测目标跟踪图像处理类人员密度分析统计类人流量统计车流量统计图像智能检索对已有海量视频的事件检索技术以及对事件发生视频的切片回放、运动帧提取，对象跟踪；基于事件检测的防范禁区检测，过线检测，遗留物检测，物品丢失检测，人员徘徊检测等一系列智能分析。云计算智能安防例：打架检测图像智能检索云计算智能安防目标运动视频DNA序列生成视频DNA可视化图谱云视频监控界面平安城市建设面临的主要挑战1.如何整合众多的视频资源2.如何存储极其海量的数据3.如何做到减少人力、实时指挥4.如何支持各类终端访问云转码平安城市云综合应用举例1.6枪击案图侦工作1.6枪击案图侦工作1.6枪击案图侦工作1.6枪击案图侦工作1.6枪击案图侦工作1.6枪击案图侦工作1.6枪击案图侦工作南京公安局采用云存储部署到镇江市“云神工程”部署于兰州市政府数据中心部署于浪潮展示中心部署于中科院电子所平安城市云的意义全面掌握：对各种来源数据进行汇聚，原来散落在不同系统、描述不同内容的局部数据发挥整体作用。智能分析：依靠云的大规模处理能力对视频数据进行精确智能的分析。及时预警：通过将各种物联网传感器和信息系统自动综合，可以及时发现危险信号并预警。长效管理：依靠云计算平台的海量存储能力，不断积累历史数据，可以对监测对象和整体环境趋势进行长期的跟踪和分析。51云处理平台数据立方(DATACUBE)JOBKEEPERJOBKEEPER特点•实时监控任务运行状态•任务状态实时更新实时监控•GET和PULL混合模式获取任务•各处理机节点性能排序合理划分任务负载均衡•本处理节点3次重试，多次失败切换节点重试•任意节点处理过程中丢失，任务不会失败任务迁移•用户自定义切分方式与系统默认方式相结合•切片大小与任务类型相结合，逻辑切片和物理切片相呼应高效划分入库性能100倍查询性能100倍数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机管理系统数据立方云计算一体机介绍英特尔最新的硬件平台和管理技术英特尔E5家族系列CPU英特尔服务器组件DataCenterManager能耗管理云创存储自主知识产权的软件架构分布式文件系统cStor/HDFS分布式数据库DataCube任务执行引擎TaskMaster数据立方云计算一体机管理系统大数据处理利器，极具突破性的整柜解决方案74INTEL-云创数据立方云计算一体机INTEL-云创数据立方云计算一体机数据立方云计算一体机应用应用范围应用描述成功案例客户平安城市海量数据存储、实时视频流处理、视频内容识别南京智能安防监控平台南京市公安局智能交通数据集中式存储、智能识别道路车流和排队情况，向各种终端提供自适应的并发访问智能交通云平台南京市交管局移动网络优化海量数据存储、结构化数据实时索引、实时处理、提供API接口、WebServices接口，与应用层无缝对接。广东移动信令共享云平台、江苏移动信令共享云平台、辽宁移动信令共享云平台中国移动、中国联通、中国电信互联网数据挖掘互联网数据的实时采集与统计分析互联网业务分析系统埃法迪媒体处理海量数据存储、海量数据处理天华传媒云转码系统深圳天华传媒电力数据分析海量数据实时采集与分析电网用电数据分析系统庚顿......•某省移动目标信令流峰值为7200Mb/s•挑战：实时性、可靠性•由世纪鼎利和云创存储共同完成•2011.8-2012.6某省移动网络优化测评鼎利ClouDiL+数据立方—端到端全程综合解决方案CS/PS/LTE…数据立方自动路测，A,Abis,Iub,IuPS,IuCS，LTEX2，LTES1MAP,CAP，Gn,GiOMC报表网络优化漫游分析VIP与用户体验终端分析客户关系管理业务优化更多BI分析…具备大数据量的应用分析能力数据立方性能测试测试项时间结果行业参考值随机话单查询10秒内领先30秒-60秒批量话单查询根据数据量领先1倍时延KPI数据统计结果2秒内领先20秒-60秒某省移动信令监测系统测试结果：省级信令共享平台应用每日CDR约1.2TBIF2订阅，秒级生效海量数据中查询，秒级呈现通过全分布式架构和分级数据模型设计，系统处理性能得到充分验证，优势完整体现，并且经过商用严格测试。ClouDiL+数据立方优势85海量信令数据实时处理基于分布式的架构，数据立方将海量实时信令数据的压力均匀分散到每个处理节点上，实现负载均衡，充分利用多磁盘优势，每个磁盘可视为一个准节点，极大的提高了IO性能；云端编解码、云计算在云计算平台上采用高效实时编解码技术，将采集到的各接口信令数据解码合成，并实时转发，本地数据本地处理，“移动计算，而不移动数据”；部署灵活部署灵活、方便，已经完成省级信令共享平台部署；高性价比和动态伸缩性低廉、高可靠性的海量存储能力、数据处理能力和无限可扩展能力；存储/处理服务器的负载应用界面某省中国移动比赛现场部署到江苏移动智能交通成功案例卡口数据处理云平台卡口数据处理云平台最新的国家电网测试结果用例数据量耗费时间结果集用例454.4亿，6.225TB827毫秒33211条用例454.4亿，6.225TB840毫秒33211条用例454.4亿，6.225TB727毫秒33211条selectt.tmnl_task_id,t.terminal_idfrome_mp_power_curvep,a_tmnl_taskt,a_tmnl_task_objowherep.data_date=to_date(?,’yyyymmdd')and(instr(substr(DATA_WHOLE_FLAG,0,96),'0')0orinstr(substr(DATA_WHOLE_FLAG,0,96),'4')0orinstr(substr(DATA_WHOLE_FLAG,0,96),'9')0)andt.task_id=?andt.tmnl_task_id=o.tmnl_task_idando.obj_id=p.id94PM2.5监测节点PM2.5云监测平台与权威PM2.5监测数据的对比PM2.5监测平台用户访问界面用户地图江苏省软件企业专利商标申请序号申请号商标名称类别主要内容申请时间197059499计算机；已录制的计算机程序（程序）；电脑软件（录制好的）；计算机程序（可下载软件）；照相机(摄影)；测量仪器；放大镜（光学）；传感器；音响警报器；电池。2011-07-122970594842技术项目研究；物理研究；工业品外观设计；计算机编程；计算机软件设计；计算机硬件咨询；计算机数据的复原；计算机系统设计；计算机程序和数据的数据转换（非有形转换）；艺术品鉴定。2011-07-1239705951云创存储9计算机；已录制的计算机程序（程序）；电脑软件（录制好的）；计算机程序（可下载软件）；照相机(摄影)；测量仪器；放大镜（光学）；传感器；音响警报器；电池。2011-07-1249705950云创存储42技术项目研究；物理研究；工业品外观设计；计算机编程；计算机软件设计；计算机硬件咨询；计算机数据的复原；计算机系统设计；计算机程序和数据的数据转换（非有形转换）；艺术品鉴定。2011-07-1259705953云创存9计算机；已录制的计算机程序（程序）；电脑软件（录制好的）；计算机程序（可下载软件）；照相机(摄影)；测量仪器；放大镜（光学）；传感器；音响警报器；电池。2011-07-1269705952云创存42技术项目研究；物理研究；工业品外观设计；计算机编程；计算机软件设计；计算机硬件咨询；计算机数据的复原；计算机系统设计；计算机程序和数据的数据转换（非有形转换）；艺术品鉴定。2011-07-1279705955Cstor9计算机；已录制的计算机程序（程序）；电脑软件（录制好的）；计算机程序（可下载软件）；照相机(摄影)；测量仪器；放大镜（光学）；传感器；音响警报器；电池。2011-07-1289705954Cstor42技术项目研究；物理研究；工业品外观设计；计算机编程；计算机软件设计；计算机硬件咨询；计算机数据的复原；计算机系统设计；计算机