大数据在中国电信的应用实践(大数据能力开放)

大数据在中国电信的应用实践下篇：大数据能力开放中国电信云计算分公司大数据事业部2016年5月20日“互联网+”吹响产业转型创新的号角，也改变了信息生产消费模式拥抱变化，为“互联网+”整体布局世界领先的基础设施数据中心直连专网分层汇聚、高速互联全网数据中心数据中心间流量智能调度，数据中心+网络一体化服务保障用户到云的访问速度，打造20msIT生活圈拥抱变化，为“互联网+”整体布局世界领先的基础设施数据是中国电信差异化优势能力，积极推进社会大数据开放服务国内70%的通信数据流量及数据计算行为承载于中国电信的网络及IDC上48小类，日增量15PB大数据开放服务取得显著成效，运营模式及能力得到国家社会广泛认可“大数据+云”能力组合，专业稳健的服务运营能力三点体会–关于数据开放服务平台实践•充分认识数据开放服务复杂性，需要组合式的解决方案应对•选择合理的建设模式以及推进步骤，示范应用拉动能力建设非常必要•运营是核心中的核心，数据运营需要良好的规划、治理以及生命周期管理定位于数据汇聚开放平台，首先要面对融合、开放与服务带来的挑战基础设施提供商数据能力开放平台商分析技术提供商业务应用提供商数据产品使用者互信融合安全合规普适高效•数据开放服务是大趋势，更是社会责任与企业使命•成长的关键是产业链中找准定位，参与良好生态的建设跳出数据归属的思路限制，敢放上来，能灵活用，控制输出与失效期围绕五要素“隔离、脱敏、标识、授权、审计”，严格控制敏感数据，拥有者知情通报与实时授权，全程监控与审计留痕全程自动化场景适配，多种应用模式适配，即席查询验证与高复杂度挖掘分析方向适配做数据开放平台，三个无法绕过的问题：数据服务审计与监控体系能力规划及数据治理体系数据开发运营基础能力组合视图：“3+4+2”大数据处理能力Hadoop云处理能力虚机+OOS+CDN网络通信能力DCI大数据生产环境构建能力–飞龙系统数据标签发布及接口能力–飞梭系统数据安全管理能力（脱敏、标识、授权触点）–隐元星系统数据生产调度管控能力（采集、ETL、稽核、宽表）–天狮系统应用应用应用应用应用3项基础能力•云、网络、数据处理4项运营级系统能力•实时构建、调度管控、安全管理、服务发布2项运营级体系能力•规划及治理、审计与监控能力概述：大数据生产环境构建能力用户空间A用户空间B临时空间1.申请2.授权后供给审计3.输出审计4.成果使用临时空间用户空间•基于混合云技术，专线或VPN连接用户私属的独立大数据运行空间•数据存储：文件系统级的数据加密压缩存储；应对冷数据提供对象存储技术5.整体空间焚毁•基于定制云模板技术的实时大数据运行环境生成•非对称密钥保护的数据授权交付确保传输安全•加工后整体环境彻底字节级消除能力概述：数据安全管理能力•刑法第九修正案•全国人民代表大会常务委员会关于加强网络信息保护的决定•信息安全技术公共及商用服务信息系统个人信息保护指南•工信部24号令《电信和互联网用户个人信息保护规定》•……隔离：按功能分类、数据敏感等级严格划定功能区域，并进行访问控制限制脱敏：包含敏感信息的数据，进入用户空间时进行实时脱敏处理，敏感信息通过系统标识存入单独隔离区标识：敏感信息读取，只能通过授权后标识识别的方式；通过敏感信息标识、关联的数据，改为通过系统标识、关联授权：非敏感数据一次授权访问；敏感信息通过触点二次授权后，通过标识访问审计：数据进入、离开用户空间，进行内容审计能力概述：数据生产调度管控能力文件接入、流式接入ETL调度文件总线基表母表子表数据基础服务开放流表子表数据总线数据作业流水线平台网管平台能力管控能力概述：数据标签发布及接口能力示例合理规划建设步骤，根据区域特色及热点主题选择示范应用并行1111222233基本思路：1.稳定基本资源能力，理清能力建设头绪2.单体示范应用拉动，打通非自动化、安全可控的对外服务流程3.体系流程系统固化、自动化积极助力各地政府，根据区域特色及题材选择，推进示范创兴项目助力政府准确决策助力行业创新服务助力中小企业发展支撑客户：X省经信委，X省卫计委，X省应急办，X省国安局……积极助力各地政府，根据区域特色及题材选择，推进示范创兴项目助力政府准确决策助力行业创新服务助力中小企业发展支撑客户：X省经信委，X省卫计委，X省应急办，X省国安局……积极助力各地政府，根据区域特色及题材选择，推进示范创兴项目助力政府准确决策助力行业创新服务助力中小企业发展支撑客户：国家旅游局，及若干省旅游局……积极助力各地政府，根据区域特色及题材选择，推进示范创兴项目助力政府准确决策助力行业创新服务助力中小企业发展支撑客户：X省商务部（部试点）三点体会–关于数据开放服务平台实践•充分认识数据开放服务复杂性，需要组合式的解决方案应对•选择合理的建设模式以及推进步骤，示范应用拉动能力建设非常必要•运营是核心中的核心，数据运营需要良好的规划、治理以及生命周期管理数据运营体系：基于数据生命周期的能力规划•从哪里来•组成情况•数据规则•统计口径•更新频率•体量特征•应用场景数据运营体系：基于数据生命周期的能力规划数据运营体系：四维度治理、十因素评估数据运营体系：数据治理天翼大数据数据服务生活感谢