从数据库管理员到数据架构师

把库字脱掉—从DBA到DA1话题从大数据时代开始社交网络电子商务移动互联大数据时代的到来让IT的重点从“T”重新回到了“I”。在当前大数据的时代，数据被业界公认为是企业的最宝贵资产之一，数据的价值得到认同。企业依赖数据资产管理为其提供可靠、有价值和高质量的数据，提供更好的产品和服务，降低开发和运维成本，控制风险，以及为企业提供更明智和更有效的决策数据支持。因此，亟需对数据资产进行有效的管理，提升数据的价值。大数据时代对DBA提出了新的挑战3系统架构数据变现数据库产品不断迅速自我完善，SimpleandStupid成为目前数据库产品发展方面围绕数据库的产品也日益完善，DBA的工作难度大为降低IT系统日益复杂，大量新技术的涌现和应用，使单一产品数据库为中心的系统架构被打破。大量云化和分布式系统架构应用，打破了集中式数据库的运维壁垒。在数据资产化的趋势下，企业IT系统运维的重点从单一的保稳定，提出了数据资产变现、增值等更高的数据运维要求。产品变迁DBA的挑战面对如此挑战，DBA该何去何从？运维DBA数据库专家数据架构师DA与运维DBA的区别5分析/设计开发上线运维开发DBA运维DBA没我啥事那是开发商的事那也是开发商的事数据架构设计数据架构管理数据架构实施数据架构运营数据库维护数据架构师作为数据架构的管控者，将成为未来企业IT系统规划、建设和运维核心力量6CRM客服ERP……数据库设计数据模型数据生命周期数据库设计数据模型数据生命周期数据库设计数据模型数据生命周期数据架构师宏观数据架构电子渠道数据库设计数据模型数据生命周期开发DBA开发DBA开发DBA开发DBA运维DBA统一数据库基础运维数据架构DataArchitecture数据架构这个名词好抽象8神马是数据架构？？架构是建造的艺术和科学，特别是设计和建造建筑时的艺术和实践，同时考虑到美学和实用的因素。数据架构就是一组关于企业数据的蓝图。为什么要有数据架构？9一个民工的窝棚，自然不需要什么架构……但是一个现代化的楼盘可以没有架构规划吗？目前电信运营商目前IT系统数据架构现状和问题10业务系统越来越多各系统烟囱式建设产品搭积木式叠代开发CRM网厅计费渠道帐务客服短厅…….Φ数据架构混乱Φ架构管理滞后Φ架构变更失控Φ数据无序增长Φ数据标准缺失Φ数据安全突出Φ数据架构黑盒Φ数据质量参差新炬电信行业数据架构管理框架11新炬数据架构管理框架微观层面数据模型管理数据资产管理团队数据资产管理平台数据资产管理制度和规范数据业务流程分析宏观层面整体数据架构规划数据分布管理治理层面数据质量管理数据生命周期管理数据安全管理运营层面数据操作管理案例分享：X省业务支撑域数据容量管理以及数据架构优化服务取得成果3.性能提升2.架构优化1.容量控制库表清理•共清理冗余表15442张，超出目标5442张，超预期50%以上。•核心五套库清理的冗余库表占总数的12.03%。索引优化•共清理冗余索引24176个，超出目标4176个，超预期20%以上。•核心五套库清理的冗余索引占总数的11.78%。模型精简•从318311张核心表精简出12697张基础模型，精简度达4%，使模型管理变得可控。各套库CPU使用率均有所下降，核心数据库CPU使用率高峰期平均下降20%。若通过硬件扩容的方式达到同样效果，需要扩容28颗同类型CPU。•从生产清理出库34TB的数据，超出目标值4TB，出库量占比34%。•节约生产存储的同时，为系统性能提升打下基础。案例分享：X省业务支撑域数据生命周期管理具体案例生产业务数据库数据增长速度明显放缓，以营业A库为例：注：9月份完成首轮清理0204060801006:06:006:36:007:06:007:36:008:06:008:36:009:06:009:36:0010:06:0010:36:0011:06:0011:36:0012:06:0012:36:0013:06:0013:36:0014:06:0014:36:0015:06:0015:36:0016:06:0016:36:0017:06:0017:36:00CRMA112月1日10月1日0501001506:00:006:30:007:00:007:30:008:00:008:30:009:00:009:30:0010:00:0010:30:0011:00:0011:30:0012:00:0012:30:0013:00:0013:30:0014:00:0014:30:0015:00:0015:30:0016:00:0016:30:0017:00:0017:30:00CRMB112月1日10月1日数据库主机CPU使用率均有不同程度的下降，优化产生相当于28颗同类型CPU的效能，如果通过价格换算，CPU与存储总计节约成本753万。以营业库4台主机为例，CRM库12月1日较10月1日CPU使用率高峰期平均下降20%左右。我的DA之路15我从DBA到DA之路数据库修理工＋救火队员123数据库运维，预防胜利一切好系统是靠设计、开发出来的4数据架构是企业层面的关注重点运维DBA、开发DBA到数据架构师应该增强具备的素质16技术能力和业务能力自觉主动，积极解决问题抽象思维能力和总结能力全面的技术吸收和选择鉴别能力书面表达和口头交流能力数据架构相关的专业知识数据库和SQL开发优化技术数据模型构建、设计和优化整体数据库架构和规划系统技术架构规划专业技术知识以外需要关注业务知识18•业务架构–业务领域知识–业务规范•业务流程–关注业务实现方法•组织–沟通能力•商业–协助产品规划架构师推荐学习的一些知识体系19数据治理数据架构管理数据开发管理数据操作管理数据安全管理参考数据与主数据数据仓库与商业智能文档与内容数据管理元数据管理数据质量管理DAMA数据资产管理体系图!!