阿里巴巴大数据实践之路-陈鹏宇23

阿里巴巴大数据实践之路陈鹏宇（不老）数据事业部·∙高级专家存：数据上云通：数据打通用：数据化运营生态：运营数据目录content综述：阿里巴巴是一家数据公司阿里大数据发展历程l时间线l09年：阿里定位为一家数据公司l12年：成立数据事业部l14年：大数据产品正式对外服务l认知线lData 1.0：DW和BI为主，“看”lData 2.0：数据化运营，“用”lData 3.0：运营数据，“生态”阿里大数据体系结构公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索…成本管理公共技术平台One Platform公共数据服务One Data中台后台前台业务DWODPS，ADS统一的大数据技术平台数据共享算法共享知识共享数据安全数据质量数据标准运营管理生态建设统一的数据仓库公共数据产品和数据服务金融营销信用安全风控客服物流搜索…成本管理阿里大数据体系结构④生态①存②通③用①存：数据上云数据孤岛登月数据平台技术演进Hadoop,  GP,  Oracle,  …ODPS123统一平台，数据大集中统一的存储，统一的计算引擎，统一的数据开发平台资源共享，弹性分配基于ODPS多集群技术，由数以万计的服务器提供超级计算能力，按需弹性分配给各数据开发团队数据隔离，分权管理基于ODPS多租户机制，各部门可独立管理自身的数据，独立做数据授权如何做到一个平台？计算资源分配集群1集群2集群n飞天：一台计算机ODPS：一个计算引擎按需弹性分配的计算资源大池②通：数据打通数据共享12数据整合One Data3公共数据服务One Service如何打通多个业务数据？数据隔离与共享：普通模式关系网络部门1部门3部门5部门2部门4……安全的数据共享机制（基于ODPS多租户数据授权模型）ODPS集群·•∙ 多租户数据不搬家，可用不可见数据隔离与共享：担保模式集群1集群2集群n飞天：一台计算机ODPS：一个计算引擎One Data：一个数据仓库One Service：公共数据服务人群画像特征工程关系库行为库……全局元数据管理，全链路血缘跟踪账号，权限，计量数据整合与服务③用：数据化运营阿里数据化业务版图数据业务金融营销安全物流信用……Facts：几十个业务部门数百个应用数千名工程师互联网金融·∙自动化决策Facts：百万级客户日均流水过万极低坏账率数据加工数据仓库数据加工流水线EDWADMCDM模型运算决策引擎算法部署模型决策访问接口模型结果在线系统金融业务贷款保险理财互联网金融·∙自动化决策数据普惠：如何帮助商家？üPV提升45%üCTR提升61%üROI增长46%④生态：运营数据共建共享的数据社区发布检索申请授权使用知识数据算法程序数据资产运营管理数据质量数据安全数据标准成本管理如何运营数据？