观云大数据产品-宣传版

观云大数据产品大数据平台、分析和挖掘整体解决方案江苏鸿信系统集成有限公司大数据应用事业部目录1公司概况2大数据概述3观云大数据平台4观云大数据应用公司简介江苏鸿信系统集成有限公司于2007在南京成立，注册资金1.1亿元，是中国电信股份有限公司为实现ICT业务专业化运营所成立的专业全资子公司，与中国电信系统集成公司江苏分公司是“一套人马，两块牌子”发展方向公司规模公司2015年营业收入6.7亿元，三年研发投入超1.2亿元，是中国电信集团交通行业基地、旅游行业基地、掌上大学运营中心，公司业务拓展至29个省（市），服务于政府及企业超过100000+家稳步拓展信息化和互联网化服务领域，在电信、政务、企业、教育、交通、旅游等多个行业都有一定的积累；在大数据、云计算、物联网等领域形成一定品牌影响习近平总书记视察鸿信承建重点项目江苏鸿信系统集成有限公司基本情况资质情况主要资质：重要荣誉：•建筑智能化专项设计甲级•电子与智能化专业承包一级•计算机信息系统集成一级•工程设计通信广电行业有线通信甲级/无线通信乙级•高新技术企业•ISO27001•CMMI5•ISO9001•江苏省企业技术中心•2009-2014年度国家金卡工程金蚂蚁奖•江苏省优秀产品奖（金慧奖）•江苏省优秀企业•江苏省物联网知名企业•高新技术企业•南京市企业技术中心鸿信公司成立至今，共计获得专利23项，软件著作权157项，省市级以上奖项42项，资质25项CMMI5高新技术企业建筑智能化专项设计甲级电子与智能化专业承包一级ISO9001ISO27001计算机信息系统集成一级目录1公司概况2大数据概述3观云大数据平台4观云大数据应用大数据：成为国家战略《十三五规划纲要》提出实施国家大数据战略，把大数据作为基础性战略资源，全面实施促进大数据发展行动，加快推动数据资源共享开放和开发应用；2016年3月18日2016年8月31日江苏省政府《关于运用大数据加强对市场主体服务和监管的若干意见》提高政府运用大数据能力；推动简政放权和政府职能转变；提高政府服务水平和监管效率，降低服务和监管成本；2015年9月5日国务院2015年7月1日国务院《促进大数据发展行动纲要》大力推动政府信息系统和公共数据互联开放共享，加快政府信息平台整合；以企业为主体，加大大数据关键技术研发，着力推进数据汇集和发掘，深化大数据在各行业创新应用；大数据成为国家战略《江苏省大数据发展行动计划》工信部、发改委大数据实例：中国电信海量数据携程、途牛、去哪儿、同程、美团等月上网总量5.02亿条/月手机定位7亿条/天上网搜索、浏览、点击等行为数据100亿条/天海量数据实时获取GPS定位500万/天次海量数据覆盖人口固定电话2000万用户家庭、公共景区WiFi使用者90%以上IPTV用户600万政府大企业200万全省网民6500万手机用户2300万10T仅江苏省每天数据量江苏电信数据现状容量大（Volume）：江苏电信数据总量已达10P+，日均产生网络日志数据10T+、话单数据1T、…类型多（Variety）：包括位置信令数据、用户网络数据、呼叫记录数据、终端数据、视频数据、…存取速度快（Volecity）：海量数据的快速产生、快速存储、快速使用应用价值高（Value）：最真实的客户、产品、资源和订单等数据；最详实的用户行为数据电信用户基本数据号码身份信息缴费信息消费信息移动位置数据基站信息移动信息滞留信息……信令数据主叫信息被叫信息IP信息位置信息终端数据Mac地址终端ESNAPP信息……网络日志数据移动／固网源地址目的地IP目的地URL……用户触点数据10000网厅……大数据特征大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。大数据行业生态图谱大数据的核心-企业技术大数据基本上就是管道设施的一种。大数据为许多消费者或商业用户体验提供了动力，但它的核心是企业技术：数据库、分析等。大数据的关键-无缝集成大数据的成功不在于实现技术的某一方面（像Hadoop、spark等），而是需要把一连串的技术、人和流程糅合到一起。大数据的构成-多层递进大数据基础设施日益完善，大数据分析BI平台普遍成熟，大数据应用层正在快速构建。大数据思维-数据范畴管理数据理解数据使用数据企业必须掌握三项分析技能才能实现竞争优势大数据思维-三原则小数据大数据抽样数据、局部数据和片面数据用全体代替抽样统计抽样的局限性精准性用数量代替精确拥抱混杂性：容错性更强经验、假设和价值观用相关性代替因果性知道是什么比知道为什么更重要大数据角色业务人员•业务用户：提出业务需求，并制定优先级•业务分析师：有较深的行业业务知识，通过分析业务数据提供决策支持•数据科学家：具有专业领域知识、统计分析背景和计算机技术基础，从数据中挖掘有效信息以解决业务深度分析需求•机器学习专家：具有统计学思维、丰富的编程和数据建模经验，通过开发算法进行业务分析和预测技术人员•平台/系统架构师：软件工程师背景，对大数据、云计算有较深的理解，负责技术选型和实现流程•数据工程师：负责数据的采集、存储、处理•IT/运维人员：负责平台的开发、部署、运营、发布、管理和监控大数据时代，解析海量难以理解的信息足以导致改变世界的革新。但真正理解这些数据，需要各个方面专业人士。大数据思维-角色划分数据仓库数据源不断扩大（新增互联网非结构化数据等），数据量由TB级向PB级增长几乎所有互联网企业都在业务或分析系统中采用了大数据(特别是Hadoop数据分析技术），一方面应对不确定的业务增长和处理各种结构化与非结构化数据，另一方面降低采购和运维成本。采用Hadoop大数据平台的互联网企业如国际上的Facebook、亚马逊（Amazon）、ebay等，国内的淘宝、阿里巴巴、京东、苏宁云商、百度、腾讯、优酷等电信运营商包括国际上的AT&T、Vodafone等，国内的中国电信、中国联通、中国移动也已经引入了hadoop大数据平台谁在使用大数据？调研报告-大数据使用和分析的目标53%关注客户40%关注运营7%关注财务全球企业使用数据和分析的目标获得客户和提升体验运营销量财务和风险管理使用数据和分析提高赢取客户的能力使用数据和分析改进客户体验59%关注客户34%关注运营7%关注财务中国区使用数据和分析的目标获得客户和提升体验运营销量财务和风险管理使用数据和分析提高赢取客户的能力使用数据和分析改进客户体验调研报告-大数据来源企业主要使用内部数据源开展大数据举措交易日志数据事件电子邮件88%57%73%59%社交媒体传感器外部来源RFID扫描或POS数据自由格式文本地理空间音频静态图像/视频41%41%42%42%43%40%38%34%调研报告-大数据基础设施（平台）信息整合可扩展的存储基础架构高容量数据仓库安全与治理65%64%59%58%脚本与开发工具列存储数据库复杂事件处理工作负载优化分析加速器Hadoop/MapReduceNoSQL引擎流计算54%51%45%45%44%42%42%38%受访者大数据基础设施的组件信息整合是任何分析项目的关键组成要素，对大数据来说，它甚至更加重要。企业的数据必须随时可被需要数据的人员使用和获得。调研报告-大数据分析能力（应用）查询与报表数据挖掘数据可视化预测建模优化65%67%71%77%91%模拟仿真自然语言文本地理空间分析流分析视频分析语音分析35%43%52%56%25%26%受访者采用多种高级分析技能目录1公司概况2大数据概述3观云大数据平台4观云大数据应用人在干、数在转、云在算把握数据灵魂找准应用抓手夯实能力基础风险防控舆情分析行为预测……电信自有数据+业务应用数据政务+教育+医卫+交通+旅游+基础设施能力云网融合关键业务能力安全服务运营保障能力运营支撑云计算云计算强调的是底层基础设施的资源复用，让资源的能力尽量发挥出来。大数据大数据是主要面向业务，业务需要什么样的构架，大数据就要有相应的平台、技术和构架。智慧的医疗智慧的市民服务智慧的公共安全智慧的交通•实时路况发送•公交到站提醒•通畅路线规划•远程会诊•智慧处方•临床决策系统•犯罪信息挖掘•突发事件响应•高危位区域统计、预警智慧的公共事业•智能用电分析•环境状况分析预测•水处理/水资源管理•智能就业匹配•政策舆情分析•商品优惠客户匹配全面感知智能处理政务大数据需求外部数据源内部数据源互联网移动互联网物联网社交媒体等政府部门资料信息及相关系统：经济运行、产业、投资、消费、能耗、交通、电力、装备、中小企业……等大数据来源舆情评论社交关系实时位置旅游度假城市车位使用……企业大数据需求助力运营大数据挑战-客户分析全流程567891234项目是为了实现哪个业务目标？如何表达成功（通过哪些数据）？您需要分析哪数据，哪些数据具有相关性您有哪些数据，缺乏哪些数据，哪些数据具有相关性您需要哪些沟通能力来实施您的研究结果，并实现公司战略？您需要采取哪些行动？这些活动与哪些客户和产品相关？您选择哪些沟通渠道？您在哪些方面成功(包括响应能力和业务绩效的衡量和反馈)？客户分析举措的治理检查表数据源多种多样数据存储代价高昂数据资产缺乏有效管理数据价值缺乏有效利用用管存收大数据挑战59%59%数据自然流失70%70%数据过于复杂85%85%企业数据架构无法适应数据量和复杂性增长的需求98%98%企业无法及时、准确地为业务提供正确的信息性能灵活共享价值安全关注要素大数据关注要素关键功能点多级团队管理资源开通和隔离数据安全和隔离程序管理和调度数据查询分析数据开放共享数据隐私保护数据应用层数据共享层数据存储与分析层数据采集层任务调度与元数据管理安全、权限与监控搜索报表OLAP其它数据接口DBRedisHBaseOtherFile/ftp/http实时计算（Storm/SparkStreaming)MRHiveSparkSparksqlHDFSFlumekafka网站日志ftp/httpMysqlOracleOtherDrillAD-HOCsqoopKylin批处理抽取程序依据数据特性和应用特点，建立批处理和实时计算的大数据平台系统架构1收2存4用3管大数据系统架构-Hadoop方案电信大数据定位基础设施提供商数据产品与能力提供商分析技术提供商业务应用提供商大数据使用者基础设施提供商数据和分析提供商业务应用提供商数据标签位置信息趋势预测精准营销咨询报告我们能做什么观云大数据产品观云大数据应用大数据管理数据地图数据开发生产部署调度管理数据管理系统管理数据交换……大数据存储数据批处理数据实时处理大数据收集结构化数据实时数据非结构化数据大数据分析BI分析可视化大数据挖掘机器学习决策支持观云提供大数据一站式解决方案，帮助客户收集、存储、管理、使用（分析和挖掘）相关数据，提升客户业务支撑水平。观云基于成熟的大数据开源技术（hadoop/spark），结合鸿信大数据团队的技术特长和项目实施经验，形成了具有自主知识产权的大数据软件产品。观云概述大数据源日志数据大数据集群大数据文件结构化数据多媒体数据实时收集实时毫秒级不间断采集数据，并存入大数据集群批量收集按小时、日、周、月等时间周期，批量采集各类数据，存入大数据集群大数据收集非结构化数据实时数据数据流观云-收集小型机光纤交换机存储阵列网络交换机X86服务器数据库软件（ORACLE/DB2等）大数据软件（Hadoop/Spark）成本显著降低同等存储和计算能力，软硬件综合成本最低仅需10%VS架构健壮扩展灵活Volume海量支持GB\TB\PB各种量级数据存储和运算，实现海量数据并发管理。Variety多样轻松处理结构化和非结构化数据，包括Web\语音\图像\视频等数据。Velocity实时实时&流式处理，支持海量数据的毫秒级运算。Scale规模适用小\中\大各种规模，可根据数据发展情况灵活、快速扩展集群：几台-千