一文读懂数据中台技术架构

激活数据·创变未来数据中台的架构数钥数据中台，能够提供面向企业业务场景的一站式大数据分析平台，采用大数据、移动互联网、人工智能等先进技术，支撑企业业务创新，随时随地透视经营，辅助企业科学决策，加速企业数据驱动转型变革。数钥数据中台，基于Hadoop和Spark体系相关技术，融合数据采集、分析、存储能力，以Springboot微服务形态对外提供服务。整体架构：激活数据·创变未来应用架构：大规模数据管理的能力：分析云拥有PB级大规模数据管理能力，支持穿透数据库、Hadoop、大规模MPP集群。可支持⚫PB级结构化数据⚫PB级非结构化数据激活数据·创变未来可实现多样化海量数据的统一存储、管理和分析。一、数据存储Hadoop技术已经经历了十几年的发展，而数据中台作为第二数据平面最重要的数据存储和计算平台，与Hadoop技术的融合越来越紧密，相辅相成，相得益彰。⚫HBase可以让数据中台保存海量数据；⚫Spark使得数据湖可以更快的批量分析海量数据;⚫Storm，Flink，NiFi等使数据湖能够实时接入和处理IOT数据。Hadoop本身更多的聚焦于数据的处理与应用，但是对于底层的数据存储工作则并未过多的关注。数据中台需要从数据存储、数据治理等方面继续发展。许多企业通常忽略数据积累的价值，数据需要从企业的各个方面持续的收集、存储，才有可能基于这些数据挖掘出价值信息，指导业务决策，驱动公司发展。数据中台解决方案实现数据集中存储与共享是基于Hadoop+Spark大数据解决方案和海量对象存储架构，实现万亿级数据可靠存储与高效分析。使用一套数据存储资源池，可有效解决企业中的数据烟囱问题，提供统一的命名空间，多协议互通访问，实现数据资源的高效共享，减少数据移动。数据集中存储与共享实际上是将存储资源池化，将计算和数据进行分离。当前仍然有不少人不能接受大数据的计算和数据分离架构，认为一旦采用分离架构，必然会导致性能的降低。但实际上，分离后可极大降低存储成本，有效提高计算资源利用率，增强计算和存储集群的灵活性。激活数据·创变未来二、数据集成数据采集是构建数据平台的核心要素，数钥数据中台的数据采集层由日志采集和数据库数据同步两部分组成。1、日志采集，是通过整合全员行为、流程、组织绩效、流程审批效能等数据埋点规范，建立一套高性能、高可靠性的数据传输体系，完成数据从生产业务端到数据平台的传输。数据传输体系既支持实时流式计算，也支持各种时间窗口的批量计算。2、数据同步，主要是指数据从业务系统同步进入数据仓库和数据仓库同步进入数据服务或数据应用两个方面。致远分析云支持不同业务系统的各类数据源按批量或实时同步到数据仓库中。数据不仅要存下来，更要治理好，否则数据中台将变成数据沼泽，浪费大量的IT资源。平台化的数据中台架构能否驱动企业业务发展，数据治理至关重要。企业中收集的数据或从其他行业中采集数据种类多样，格式不一，多数以原始格激活数据·创变未来式存储，企业需要不断对这些原始数据进行整合加工，根据各业务组织、场景、需求形成容易分析的干净数据，尽可能多的让更多的人访问分析数据。数据治理是个一系列复杂的工作，这里重点介绍下元数据的管理。数钥分析云解决方案为企业中海量的数据集提供了一套集中的元数据管理系统，提供全局的数据资源目录、完整的数据元数据描述、数据血缘关系，方便员工快速查找了解数据，更好的支撑数据分析，元数据管理异步的从数据服务中抽取元数据，尽量不影响原系统的运行。三、数据应用第一层是绩效层，即重点关注的KPI指标。随着企业的发展，每个阶段要解决的问题不同，每个阶段每个管理者所关注的指标也不同，这些指标需要我们时时关注，才能保证整个企业的良好运行。通过绩效层指标最容易发现企业存在的问题。第二层是运营分析层，这层指标是企业的数据支撑。对这层的指标我们要进行透视分析，深入分析，只有提前发现运营层指标的异常，才能提前预测到KPI指标的异常。通过经营分析层指标，我们可以找到问题产生的根源，才能对症下药，调整企业的管理。对企业进行调整后，又会反馈到运营激活数据·创变未来指标上来，我们可以持续监控调整是否起到了预期的效果。第三层是业务优化层，我们要创新，要探索新的模式，就要有数据支撑。我们也可以尝试一些模拟分析。数据中台中具有开箱即用的ERP分析模型,也可以借助业务模型设计器定义出更多的领域、行业模型。系统应用架构基于中国企业大多数企业中层经理以上人员的计算机实际应用水平，在方案应用设计上，应充分考虑用户的实际情况，可根据这些人员平时看报表的顺序，将各类相关联的报表串起来，形成有序化的分析思路，并加以连续展现，辅之以动态多维查询分析功能。最终的展现效果为一种固定报表格式和固定路径的初级数据钻探方式和动态报表即席查询与多维分析的高级数据钻探方式的相结合应用。系统应用架构核心设计思想为基于角色的多维度、多层级应用模型。主要包括：➢应用角色：系统可满足总经理、财务总监、营销总监、财务经理、营销主管、供应主管、数据分析员、系统管理员等角色的应用需求；激活数据·创变未来➢数据类型：财务数据、分销数据、终端数据、采购数据、库存数据、综合数据；➢数据周期：日、月、季度、半年和年。报表形成时间，可根据企业不同管理需求和资料取数的难易情况而定；➢数据属性：即数据表现形式，分为静态统计类报表、指标类、监控类、分析类（动态分析类报表，图形报表）、决策类（如定价模型、量本利模型等）。1、多维度应用，包括：（1）数据横向探察：是对同一经济活动或业务，从不同的角度进行考察和分析，从中揭示并解决存在的问题。如按产品、按区域、按部门、按客户/供应商、按各种对比基准等不同调度考察。（2）数据纵向探察：是对某项经济活动或业务，由粗到细，由广到微，逐层分解并分析其中存在或发生问题的原因。一般考察与分析的习惯与步骤为：先概览总体指标，再阅读基本报表，由此逐层查询，直到查出产生问题的原因或查询到最原始的业务发生依据为止。2、多层级应用，包括：（1）管理层（总经理、财务总监、营销总监、生产总监）：报表指标分析监控决策数据属性数据类型数据周期应用角色财务销售采购库存日月季度半年年激活数据·创变未来基本上关注一些最关键的指标和报表，主要以阅读总括指标为主，如销售报表主要关注的是总体与大类产品的销售收入、发出商品、销售回款等，以及属于企业支柱产品和重点推进的产品的销售情况。并使用相关的预决策模型。而在应用的思路上至多为指标—报表两层，进一步的分析大多为通过电话或口头指令下级完成；（2）中层经理（财务经理、营销经理、供应经理、生产经理）：主要查看一些跟其主管业务相关的指标和报表，主要是查看具体内容，如销售部门中层管理者除关注总体收入外，更要关心每一产品的具体销售情况。并使用相关的预决策模型，关注相关业务的执行进度和完成情况，实时监控主管业务的全过程状态。在分析应用的思路上大多为指标—报表—报表的多层联查。而对于更进一步的深层次原因探查则通过动态即席分析实现；（3）数据分析人员（总经理特别助理、骨干员工、业务分析员、IT技术人员）：应用主要集中在各种动态即时分析上，通过灵活的拖拉拽、旋转、切片、切块、下钻、上探等操作，实现比较高级的深度数据钻探方式。IT技术人员和业务分析人员还要配合来共同负责物理数据模型的设计、修改和维护工作。（4）作业层人员（业务人员）：应用最为基础简单，主要是查看跟自己相关的各类具体的业务报表，以明确自己的工作内容和工作成果，及解答领导的相关询问。（5）系统管理员（系统管理员）：系统维护，用户管理，信息发布，数据备份等工作。