大数据架构规划

大数据应用架构和演进路线目录一、产品需求理解和整体规划二、演进路线三、开发及运营能力四、产品运行能力可视化能力视图分析数据查询引擎数据服务平台指标服务管理系统指标计算服务API服务开发与封装服务管理服务运维与监控可视化产品开发管理平台开发者前台可视化产品组装管理者后台控件、组件、产品管理公共中台服务生态运营管理PC产品门户可视化APPHbaseRKHiveSQLKylinSparkSQL路由管理数据模型开发指标服务开发与封装组件控件开发SOR层模型DPA层模型统一视图应用指标库会员流量销售服务物流金融财务……产品页面开发平台能力构建数据开发、可视化产品开发诸葛决策支持鹰眼……组件实例化页面组装权限管理组件开发控件开发指标管理服务指标库模型指标审核元数据管理平台整体应用架构图数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎社区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理SparkSQLKylin监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）产品运行能力开发及运营能力数据服务能力公共服务数据封装服务开发管理指标服务浏览指标服务开发标准指标服务组合指标服务服务运维管理指标计算服务日志&监控指标库模型数据模型元数据定义指标审核监控分析用户分析社区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面建设优先级数据模型层数据封装平台元数据管理平台自助分析开发管理平台诸葛前端门户产品专区主页配置产品展示前端产品展示前端高速数据查询引擎社区交流指标管理服务开发者前台开发管理服务中台组件管理服务组件市场服务产品管理服务权限管理服务管理者后台运营后台系统分类标签管理指标服务浏览组件市场管理产品市场管理SparkSQLKylin监控分析权限管理分业务模型（轻度汇总）统一视图（高度汇总）应用指标库（DM层）明细数据表（SOR层）低优先级高优先级公共服务数据封装服务开发管理指标服务浏览指标服务开发标准指标服务组合指标服务服务运维管理指标计算服务日志&监控指标库模型数据模型元数据定义指标审核监控分析用户分析社区管理服务测试验证指标管理指标服务管理组件管理产品组装产品管理监控分析组件、产品性能监控服务产品页面产品页面高优先级高优先级高优先级高优先级高优先级高优先级当前数据分析产品开发模式数据开发页面产品开发产品部署和发布缺点：数据开发缺少元数据平台支撑，指标的口径管理比较孤立不同数据分析产品定制数据指标，数据指标没有服务化，无法共享；导致数据在不同产品间的一致性差异页面展示没有组件化，页面模块无法重复利用产品优化通道没有建立，缺少持续改善和提升的输入意见优点开发模式比较简单，容易掌握小规模数据分析产品开发有优势标准数据服务的开发流程数据分析产品开发流程数据分析产品开发新生态汇总模型的建设构建统一业务视图构建标准指标库构建标准指标数据服务控件：数据表达的最小元素数据组件库：基于控件开发和封装页面组装：组件的数据实例化组装产品及发布标准数据服务发布引用标准数据服务非标数据服务后端管理与运营监控与数据采集用户交流反馈需求与数据分析产品优化与改进目录一、产品需求理解和整体规划二、数据服务能力三、开发及运营能力四、产品运行能力标准指标设计标准指标ID指标名称/业务口径描述分析维度组合1分析维度组合2分析维度组合n指标的技术口径A11指标的技术口径B数据仓库轻度汇总表数据明细表指标库高度聚合表指标ID标准指标服务指标名称业务口径分析维度组合指标计算参数技术口径输入输出数据描述/指标值列表指标计算服务一、按ID、分析维度读取元数据服务二、按指标参数组合查询SQL三、调用数据计算引擎标准指标定义系统及平台定位数据模型层：（持续建设中）经过梳理和规整的数据表，数据描述实体和属性在元数据管理平台进行清晰而准确的管理；数据存储可以落在Hive、或者DBMS中数据封装平台：（系统新建）1.开发管理，基于指标技术元数据封装为标准指标服务，并在此基础上定义组合指标服务2.提供数据封装服务，响应组件调用3.公共服务，指标计算服务4.运维管理服务，性能监控，日志管理等元数据管理平台：（功能扩充）1.指标库模型定义及数据存储2.指标库管理服务，如新增、删除、修改；指标库查询服务3.指标库管理前端功能，指标库新增审核高速数据查询引擎：（系统新建）对大量数据进行多维度聚合查询的技术组件，追求高性能、高并发量、高扩展性目录一、产品需求理解和整体规划二、数据服务能力三、开发及运营能力四、产品运行能力开发者前台功能明细指标管理标准指标维护申请指标库浏览指标明细查询非标指标维护指标服务管理数据源管理数据源引入数据浏览非标指标服务维护指标服务查询标准指标服务维护性能监控衍生指标服务维护组合指标服务维护指标服务性能监控组件管理组件浏览组件新增组件维护组件发布上架组件版本管理产品页面装配页面模板引入组件装配验证测试组件市场浏览产品管理页面产品浏览页面产品发布页面产品下线组件性能监控页面产品性能监控开发者前台后端系统元数据管理平台数据封装平台开发管理中台管理者后台功能明细管理者后台后端系统元数据管理平台数据封装平台开发管理中台分析&管理权限管理组件市场管理产品市场管理标签分类指标服务浏览运营后台系统系统及平台定位自助分析开发管理平台：（系统新建）开发者前台：为授权开发者提供指标服务开发、组件开发、产品组装和发布的集成开发环境管理者后台：对产品开发使用的资源，指标服务、组件、页面产品进行管理，如授权、上下架、分类等服务中台：对开发者和管理者前端使用到的共同的中台服务功能集合运营后台系统：（系统新建）指标服务、组件、页面产品的使用情况分析；组件、产品的用户体验，口碑分析后端社区管理功能组件、页面产品的性能监控服务，数据统计和分析服务目录一、产品需求理解和整体规划二、数据服务能力三、开发及运营能力四、产品运行能力系统及平台定位诸葛前端门户：（系统新建）主页配置：菜单、导航配置产品专区：社区交流：经验分享和交流产品展示前端：（产品开发完毕后发布）链接至各从产品专区，实现页面访问流量的落地，随着数据分析类产品的新建而增加系统产品开发流程控件素材准备产品页面开发（组件实例化）测试和验证产品发布申请指标服务管理组件市场管理产品市场管理产品开发流程概要查询审核指标开发指标服务封装组件开发指标服务开发流程标准指标标准指标服务（多分析维度组合）非标指标非指标服务（固定分析维度、多指标）衍生指标服务（固定分析维度、多指标）组合指标服务（固定分析维度、多指标）PublicPrivatePrivatePrivate组件数据源标准指标服务（单一指标）非标指标服务（多指标）来自标准指标库来自自定义SQL、外来数据服务衍生指标服务A（多指标）组合指标服务（多指标）如环比、同比、占比相同维度拼接组件数据源组件视图名词解释标准指标：标准指标服务：组合指标服务：分析维度组合：多分析维度组合，固定分析维度指标计算参数：指标计算服务：控件：数据表现层的最小素材，在实现上提供了展示外形，一系列编程接口，控件无法直接使用组件：对控件进行的封装和实现，基于数据可视化分析思路的抽象，对页面展现的样式、交互、联动、布局进行了实现，组件需要接入分析数据源产品页面：将多个组件按页面布局模板进行组装，组件的产品实例化页面装配：