辽宁移动大数据平台建设方案V1159

辽宁移动大数据平台方案--交流稿北京天云融创软件技术有限公司8/1/2019天云简介天云公司致力于云计算产品研发、云系统构建、云系统解决方案、大数据解决方案的提供。天云公司专注云计算领域，引入国内外的云计算的顶尖人才。总部设在北京云基地，在中国（包括香港、台湾）16个省市设有分支机构，在北京，西安以及美国硅谷拥有自己的研发中心,共有核心研发人员：255名，首席云专家：5名。云基地担任云计算事业的先锋角色：•云计算知识产权创新联盟理事单位•院士专家工作站•科技企业孵化器•博士后工作站天云公司客户主要集中于运营商、政府、能源、制造业等行业天云公司运营团队：•由具有国际化背景和本地化经验的优秀人才构成，核心成员均为从美国硅谷回国创业人员，曾分别服务于各大国际知名电信和网络运营商及跨国IT企业。公司大事记•2010年4月，天云联合趋势科技，在中国移动通信研究院，成功搭建中国移动IaaSPoC平台第一期，实现与大云虚拟化平台对接，为中国移动IaaS业务的商业化运营奠定了基础•2010年9月，天云携手趋势、友友天宇，与国网信息通信有限公司一起，创立了中国电力行业第一个“云计算仿真实验室”，共同为智能电网大规模数据处理进行预研和验证，这也是中国第一个产业云；•2010年9月，中国科学院与云基地天云公司签署在云计算和移动互联网领域战略合作；•2010年12月，天云公司与台湾电信龙头中华电信签署合作备忘录（MOU），双方将致力于两岸云计算服务，云计算解决方案及ICT（信息技术与通信技术）智能产品解决方案展开全面合作。•2011年12月，天云公司成功的完成了上海浦东软件园“汇智在线，IT服务云”项目，正式向园区企业提供云计算服务。•2012年02月，天云公司中标首信电子商务云项目，以建设北京市级电子政务云平台互联网云，面向电子政务应用系统提供IAAS、PAAS、SAAS各级服务，以推动北京市电子政务向更高层次跃进。•2012年05月，天云公司荣获中国通信行业云计算优秀解决方案奖、中国绿色IT服务与外包创新贡献奖。•2012年-2013年，天云公司中标北京电视台、黑龙江移动业支云（二期、三期）、广东移动VDC云二期建设、上海移动大数据共享平台、中国联通沃云、浙江移动存储管理平台等一系列云平台、大数据项目。•2013年11月，天云软件荣获“2013年最佳云计算平台解决方案奖”，CEO张福波博士荣获“2013年中国行业信息化领军人物奖”天云案例—运营商行业云应用落地案例黑龙江移动私有云项目黑龙江移动支撑云项目中国联通沃云-中国联通一级公众服务云项目中国联通云计算战略咨询项目中国电信中小企业云项目北京移动云应用技术服务项目中国移动南方基地云网管咨询项目中国移动南方基地经分Hadoop云项目广东移动VDC一期云平台项目广东移动VDC二期云平台项目广东移动SaaS咨询项目山东电信云平台项目上海移动数据平台项目浙江移动统一存储云平台管理项目重庆移动GPRS话单查询项目行业案例涉及：深圳国家动漫基地云平台项目中国光大银行历史数据查询项目北京电视台云平台项目上海浦东软件园项目北京市电子政务云平台项目…目录辽宁移动大数据项目技术需求大数据平台分层建设方案大数据建设背景资源池规划与落地点探讨大数据平台顶层架构设计附件：案例介绍移动运营商面临的挑战环境变化•能力提升，支撑业务规模发展和创新突破•架构优化，支撑企业集中化与一体化、专业化的运营与服务•数据共享，支撑企业科学决策和精确管理新的要求移动互联网迅速发展企业电子商务化云计算、大数据等新技术兴起跨行业产业链变革业务目标•存量经营•流量经营•集客经营•终端销售管理目标•质量&服务•管理优化企业深化转型三大战略：移动互联网战略，四网协同战略，全业务战略•新业务发展•国际业务•铁通协同数据应用面临的挑战准实时批处理应用非实时批处理应用每次请求处理的数据规模每次请求的处理时长OLTP在线事务处理应用OLAP在线分析应用表示各类系统的技术难点低高高技术难点：每次处理数据规模增大；要求处理完成时间却缩短！数据规模处理能力？批处理交互式大数据应用分析应用可能性电信政府（公共事业）交通金融医疗教育能源（电力/石油）•纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；•横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；•注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值HighMidLowLowMidHigh优先关注行业用户应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可能性。值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高适当关注行业用户两个维度暂时都不具备优势，可适当给予关注互联网（电子商务）契合度流通零售制造第三代业务支撑系统将向什么方向发展？IT支撑能力持续提升实现BOSS系统集中化改造，构建业务支撑网，支撑“服务与业务领先”战略形成标准化客户运营和产品运营分离的支撑体系，支撑从“移动通信专家”到“移动信息”专家的转型借助先进的技术，采用基于云计算的新架构等，构建更加高效、开放、灵活的适应移动互联网发展的业务支撑体系，完成一体化运营支撑模式的转变，支撑企业的全业务战略、四网协同战略、移动互联网战略2007201719982012BOSSNGBOSS3rdBOSS主要特征省级集中横向整合、纵向解耦、网状网络？目录大数据平台分层建设方案大数据建设背景资源池规划与落地点探讨大数据平台顶层架构设计附件：案例介绍辽宁移动大数据项目技术需求项目技术需求•建设规模：–一期规模考虑数据总容量3.2P，其中热数据2P，冷数据1.2P•集成内容：–数据项目选择HADOOP+MPP+RDBMS的模式•软件开发与技术要求：–需要针对具体数据种类格式等进行相应的软件开发，以实现数据统一导入，对外统一接口，统一查询及开发服务，数据管理，资源分配和系统操作维护支撑等功能•实现目标：–四网协同、A+Abis、经分wapETL等已有Hadoop架构系统，及经营分析、详单查询、信令类分析系统、网管话单查询、位置类等多个系统利用统一的H+M+R大数据资源池，实现数据的统一管理及高效利用•系统架构：–采用X86架构，考虑H+M+R除oracle考虑小机等环境外，H+M考虑规模配置可调，充分满足各种数据存储及分析需求•双中心规划：–按照公司规划，数据中心要实现浑南、沈北双中心的规划结构，在两个中心分别部署设备和系统，实现重要系统双活，保障生产安全，稳定运行，大数据平台也要考虑在两个中心的分别部署•其他：–数据管理、工作界面划分、系统管理、维护接口等目录辽宁移动大数据项目技术需求大数据平台分层建设方案大数据建设背景资源池规划与落地点探讨附件：案例介绍大数据平台顶层架构设计传统的数据仓库的架构数据源抽取、转换、加载业务数据集市企业数据仓库ETL元数据前端分析展现工具查询工具、应用OLTP传统数据仓库在大数据时代面临的挑战：成本居高不下，以ScaleUp为主数据量，以GB~TB为主扩展能力拥有成本处理数据的能力数据共享能力天云新一代数据平台定义企业数据平台是指建立在数据仓库与数据仓库之上的决策分析应用，应包括数据源、数据ETL、ODS数据库、数据仓库、数据集市、商务智能应用、数据管理等功能。数据平台应该具备常见数据的处理与管理能力，具备对结构化、半结构化、非结构化等数据的处理能力，同时支持RDB、MPP、NoSQL，同时具备数据的通用管理能力，以数据为中心进行平台建设。数据平台数据平台在接口层要丰富又简单，可以提供各种应用所需接口，最大程度匹配已有接口，对应用改动需求力求最低。数据平台数据管理能力至少应包含：1.元数据管理，2.数据质量管理，3.数据安全管理，4.数据可视化管理，5.数据生命周期管理。数据平台必须针对数据提供完整方案，同时兼顾应用接口、其他平台接入，系统管理、系统调度等功能。任何一种单一技术都难以适应数据平台数据采集、存储、处理和对外服务的需求，多种技术并存才是发展趋势。采集处理层数据抽取/加载/检查ETL调度数据交互、转换数据映射数据层数据存储数据聚合服务数据处理服务数据查询服务事件通知服务信息子层KPI报表统一视图知识库接口层服务管理资料类数据服务指标类数据服务配置类数据服务清单累数据服务日志类数据服务OPENAPI数据管理功能数据生命周期管理数据可视化管理数据质量管理采集层数据质量管理数据质量规则、知识库数据质量稽核指标运维数据安全管理4A认证隐私信息保护权限管控、审计追踪元数据管理元数据获取管理元数据存储与模型管理元数据分析、展现、服务技术、业务元数据管理ODW-RDBODW-MPP分布式文件系统分布式关系数据库分布式计算数据分发同步处理用户管理权限管理备份与恢复日志管理设备监控指标资源池指标数据库指标分布式系统指标指标汇总存储管理资源池管理设备管理作业调度管理事件自动化规则配置执行引擎性能预警调度异常控制北向接口管理数据采集接口管理数据共享配置通用接口配置平台管理功能数据服务功能综合分析系统A+ABIS应用无线网优综合监控系统信令监测系统日志上层应用其他应用大数据平台建设的功能层次需求数据服务接口业务协同数据查询服务、分析服务数据仓库、数据集市数据交换数据处理清洗、转换、加载异构数据源海量数据存储结构化与非结构化数据数据应用数据服务数据共享数据整合数据集中数据源数据源数据源数据源数据源大数据平台数据集中：•结构化/非结构化数据的统一存储，“存得下”•节约存储成本，“存得起”•分布式存储架构，提高灵活性与可扩展性数据整合：•消除异构数据源的混杂性•采用云计算架构，提升处理速度与能力数据共享：•消除“数据孤岛”，实现系统间的数据交换与共享数据服务：•数据即服务，多类标准化的服务接口更易使用顶层架构—平台逻辑架构数据源数据处理域半结构/非结构化数据流式数据结构化数据运行数据库(Oracle）数据存储域基础数据服务数据聚合服务数据处理服务数据查询服务事件通知服务分析挖掘数据库(MPP)分布式文件系统分布式计算框架非关系数据库NoSQL统一ETL管理传统技术ETLHadoopETL流式计算ETL数据分发同步处理话单业务类信令类网管类……数据集市A数据集市B数据集市C……元数据管理元数据应用元数据服务封装元数据分析展现元数据基础管理元数据存储元数据获取平台管理接口管理调度管理监控管理数据质量管理新数据源稽核数据质量监控数据质量评估数据质量配置管理数据质量两级联动数据质量问题处理安全管理4A认证安全服务调用隐私管理审计追踪生命周期管理入库存储数据清理数据管理域ESB数据服务总线（webservice）应用层接口服务域资料类数据服务指标类数据服务清单类数据服务日志类数据服务事件类数据服务配置类数据服务查询类应用统计类应用…分析类应用OpenAPI审计类应用客服投诉综合监控无线网优经营分析客户感知…数据门户域数据管理门户系统管理域大数据平台建设的最终目标X86服务器数据抽取转换ETL数据管理流式计算非关系数据库数据平台服务DAASBI展现及分析挖掘服务PAASESBAPP1…创新应用应用层数据库个性化应用APP2应用层数据库个性化应用APP3应用层数据库个性化应用个性化应用OpenAPI•完善数据平台功能，实现数据平台服务DAAS和BI展现及分析挖掘服务PＡＡＳ•所有信运基础服务和网运基础服务基于数据平台服务实现•引入第三方基于基于OpenAPI的创新服务开发模式，优化管理新应用开发和上线运营信运基础服务网运基础服务关系数据库分布式计算数据管理平台扩展/集成/管理/调度/维护/自动化数据流/分布存储/数据保护/管理视图数据平台引入大数据的意义与原则随着半结构化、非结构化数据、互联网数据等新型数据源的引入以及分析需求对分析深度和广度的增加，以移动运营商行业为例，越来越需要大数据。主要包括如下：1、数据规模方面：GPRS流量话单的条数和数据量已经超过了语音详单，而位置信令、Gn信令、客服语音、互联网外部数据等规模更大，且还处在不断增长的趋