数据库新技术介绍2018

数据库新技术•发展简史•特点和种类•新技术•发展趋势一数据库技术的发展简史1.数据库是什么？(Database,DB)存储在计算机内、有组织、可共享的数据和数据对象(如表、视图、存储过程和触发器等)的集合。通讯录图书馆一数据库技术的发展简史2.数据库技术的诞生数据处理：是将数据转换为信息的过程，包括数据的收集、管理、加工利用乃至信息输出的演变计算等一系列活动。数据管理：包括数据的收集、分类、组织、编码、存储、维护、检索和传输等许多操作，这些操作是数据处理业务的基本环节。数据库技术正是为了有效管理数据，提高数据处理的效率而发展并完善起来的专门技术。因此，为了有效管理数据，数据库技术就诞生了。一数据库技术的发展简史3.早期数据库技术的发展数据处理的核心问题是数据管理数据库技术经历了三个发展阶段：人工管理文件系统数据库管理系统一数据库技术的发展简史3.1人工管理时间：20世纪50年代中期以前功能：计算机主要用于科学计算软件：汇编语言特点：数据不保存，没有数据管理系统，没有文件的概念，数据不具有独立性一数据库技术的发展简史3.2文件系统时间：20世纪50年代后期至60年代中期功能：科学计算、信息管理，数据结构和数据管理技术迅速发展。特点：数据可以长期保存，由文件系统管理数据，文件的形式多样化，数据具有一定的独立性。一数据库技术的发展简史3.3数据库管理系统（DBMS）时间：60年代后期功能：数据管理技术进入数据库系统阶段。数据库系统克服了文件系统的缺陷，提供了对数据更高级、更有效的管理。特点：采用复杂的结构化的数据模型，较高的数据独立性，最低的冗余度，数据控制功能。一数据库技术的发展简史3.4比较人工管理文件系统数据库管理系统应用背景科学计算科学计算、管理大规模数据、分布数据的管理硬件背景无直接存储设备磁带、磁盘大容量磁盘、按需增容磁带机软件背景无专门管理的软件利用OS的文件系统由DBMS支撑处理方式批处理联机实时处理、批处理联机实时处理、批处理、分布处理数据的管理者用户管理文件系统管理DBMS管理二数据库特点、种类数据库的特点集成性将某特定应用环境中的各种应用相关的数据及数据间的联系全部集中并按照一定的结构形式进行存储。共享性数据库中的数据可为多个不同的用户所共享，即不同的用户可以使用多种不同的语言，为了不同的应用目的而同时存取数据库，甚至可以同时存取数据库中的同一数据。二数据库特点、种类数据库系统第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。第二代数据库系统是关系数据库系统。第三代数据库管理系统应具有三个基本特征：1、应支持数据管理、对象管理和知识管理；2、必须保持或继承第二代数据库系统的技术；3、必须对其他系统开放。二数据库特点、种类几种数据库类型说明IBM的DB2IBM，关系数据库领域的开拓者和领航人。Oracle1979年，Oracle公司引入了第一个商用SQL关系数据库管理系统。InformixInformix在1980年成立，为Unix、Linux等开放操作系统提供专业的关系型数据库产品。SybaseSybase成立于1984年，首先提出Client/Server数据库体系结构的思想。二数据库特点、种类几种数据库类型说明SQLServer1989年，微软发布了SQLServer1.0版。PostgreSQLPostgreSQL支持丰富的数据类型，包括事务、子查询、多版本并行控制系统、数据完整性检查等等。mySQLmySQL，小型关系型数据库管理系统，体积小、速度快、总体拥有成本低、开放源码，被广泛地应用在Internet上的中小型网站中。Access数据库Microsoft公司于1994年推出的微机数据库管理系统。界面友好、易学易用、开发简单、接口灵活，适用于中小型应用系统或客户端数据库。三数据库新技术80年代，关系数据库成为应用的主流，几乎所有新推出的数据库管理系统(DataBeManagementSystem，DBMS)产品都是关系型的。关系型数据库具有数据结构化、最低冗余度、较高的程序与数据独立性、易于扩充、易于编制应用程序等优点。三数据库新技术随着应用需求的提高、网络和硬件技术的发展、多媒体交流方式越来越丰富，使得数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透，互相结合，从而使数据库领域中新内容、新应用、新技术层出不穷，形成了各种新型的数据库系统。8种新型的数据库系统5种数据库新技术三数据库新技术1、面向对象数据库系统面向对象的方法和技术对数据库发展的影响最为深远，以客观世界中一种稳定的客观存在实体对象为基本元素，并以“类”和“继承”来表达事物、具有的共性和他们之间存在的内在关系。通过重用和建立新的多媒体应用能力使软件开发变得容易在处理大量事务数据方面比关系数据库系统慢很多混合关系对象数据库三数据库新技术2、分布式数据库系统分布式数据库系统是分布式技术与数据库技术的结合。从概念上讲，分布式数据库是物理上分散在计算机网络各结点上，而逻辑上属于同一个系统的数据集合。分布式是计算机应用的发展方向计算机通信与网络技术是最重要的基础由于技术上的问题，分布式系统结构、分布式数据库当前并没有完全达到预期的目标三数据库新技术3、多媒体数据库系统多媒体数据库系统是多媒体技术与数据库技术的结合。其主要特征为：(1)能表示和处理多种媒体数据；(2)能反映和管理各种媒体数据的特性；(3)应提供更强的适合非格式化数据查询的搜索功能；(4)应提供事务处理与版本管理功能。三数据库新技术4、知识数据库系统知识数据库系统的功能是如何把由大量的事实、规则、概念组成的知识存储起来，进行管理，并向用户提供方便快速的检索、查询手段。知识、经验、规则和事实的集合人工智能技术与数据库技术的结合三数据库新技术5、并行数据库系统并行数据库系统是并行技术与数据库技术的结合，其发挥多处理机结构的优势，将数据库在多个磁盘上分布存储，利用多个处理机对磁盘数据进行并行处理，从而解决了磁盘“I／O”瓶颈问题，大大提高查询效率。新兴的方向强大的处理能力并行计算机重要的支撑软件三数据库新技术6、模糊数据库系统传统的数据库系统描述和处理的是精确的或确定的客观事物；模糊数据库系统是模糊技术与数据库技术的结合，目标是能够存储以各种形式表示的模糊数据。在模式识别、过程控制、案情侦破、医疗诊断、工程设计、营养咨询、公共服务以及专家系统等领域拥有广阔的应用前景。三数据库新技术7、主动数据库主动数据库是相对于传统数据库的被动性而言的。许多实际的应用领域常常希望数据库系统在紧急情况下能根据数据库的当前状态，主动适时地做出反应，执行某些操作，向用户提供有关信息。结合人工智能技术和面向对象技术提供对紧急情况及时反应的能力提高数据库管理系统的模块化程度三数据库新技术8、XML数据库经过近几年的发展，XML数据库技术取得了很大的进展，已经有若干种XML数据库产品问世并服务于社会生活的各个方面。才刚刚开始消除数据的冗余和不一致现象已成为学术界关注的热点完整的、为业界所公认的理论体系尚未建立三数据库新技术8种新型的数据库系统当前数据库技术的发展呈现出与多种学科知识相结合的趋势，凡是有数据(广义的)产生的领域就可能需要数据库技术的支持，他们相结合后即刻就会出现一种新的数据库成员而壮大数据库家族。5种数据库新技术三数据库新技术1、数据仓库数据仓库是信息领域近年来迅速发展起来的数据库技术，数据仓库的建立能充分利用已有的资源，把数据转换为信息，从中挖掘出知识，提炼出智慧，最终创造出效益。数据仓库已成为建立决策支持系统的重要技术手段，是建立决策支持系统的基础。元数据是数据仓库设计的一个重要组成部分。三数据库新技术2、数据挖掘数据挖掘（DataMining）又称数据开采，在人工智能领域又习惯称其为数据库中知识发现（KDD，即KnowledgeDiscoveryinDatabase）。其本质类似于人脑对客观世界的反映，从客观的事实中抽象成主观的知识，然后指导客观实践，数据挖掘就是从客体的数据库中概括抽象提取规律性的东西以供决策支持系统的建立和使用。三数据库新技术3、数据转移技术数据转移技术也称为数据转换或数据变换，把多种传统资源或外部资源信息中不完善的数据自动转换为准确可靠的数据。1）简单转移2）清洗3）集成4）聚集和概括三数据库新技术4、数据处理大致可以分成两大类：联机事务处理OLTP和联机分析处理OLAP。联机事务处理OLTPOLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。联机分析处理OLAPOLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。三数据库新技术二者比较：四数据库发展趋势数据、计算机硬件和数据库应用，这三者推动着数据库技术与系统的发展。数据库要管理的数据的复杂度和数据量都在迅速增长丰富多样的数据模型（层次模型，网状模型，关系模型，面向对象模型，半结构化模型等）新技术层出不穷（数据流，Web数据库管理技术、数据仓库与联机分析技术、数据挖掘与商务智能技术等）四数据库发展趋势以下简单归纳数据库技术发展的特点：1、“四高”“四高”即DBMS具有高可靠性、高性能、高可伸缩性和高安全性。数据库是信息系统的核心和基础，其可靠性和性能是领导人非常关心的问题。四数据库发展趋势2、“互联”“互联”指数据库系统要支持互联网环境下的应用,要支持信息系统间“互联互访”，要实现不同数据库间的数据交换和共享，要处理以XML类型的数据为代表的网上数据，甚至要考虑无线通讯发展带来的革命性的变化。四数据库发展趋势3、“协同”“协同”面向行业应用领域要求，在DBMS核心基础上，开发丰富的数据库套件及应用构件，通过与制造业信息化、电子政务等领域应用套件捆绑，形成以DBMS为核心的面向行业的应用软件产品家族。四数据库发展趋势此外，数据库未来的发展还有以下一些新特点：(1)提供持续的数据可用性(2)用低成本实现系统的伸缩性(3)保证互联网架构下的安全(4)集成商业智能功能(5)简化数据库的管理五结束语数据库管理系统已经成为软件产业的重要组成部分，是信息化过程中最重要的技术基础之一。我国要振兴软件产业，就必须发展自己的数据库软件产业。这已经获得了广泛的共识，目前要解决的关键问题是如何能够“做得出、用得上、卖得掉”。数据库软件的发展将仍然是关系系统内核基础上进行扩展的技术路线。五结束语蚂蚁金服OceanBase——中国自己的数据库2008年阿里巴巴集团首席架构师提出了“去IOE”的想法，即摆脱过去IT系统中对IBM小型机、Oracle数据库以及EMC存储的过度依赖。IOE分别指IBM(国际商用机器公司)、Oracle(甲骨文)、EMC(易安信)，三家企业分别是小型机、数据库和高端存储的领导厂商。五结束语2010年，阿里做出来了取代商业数据库的OceanBase，即蚂蚁金服自研的分布式关系型数据库。2013年5月，阿里集团最后一台IBM小机在支付宝下线。2013年7月，淘宝广告系统使用的Oracle数据库下线，也是整个淘宝最后一个Oracle数据库。2014年，OceanBase替换了支付宝交易系统中的Oracle数据库。2015年，OceanBase替换了支付宝支付系统中的Oracle数据库。2016年，OceanBase替换了支付宝最核心的账务系统中的Oracle数据库。2017年，蚂蚁金服全面去IOE。五结束语服务器和存储属于硬件，阿里只要投入足够换起来并不难，难的是如何把数据库换成自己的。总结OceanBase的成功，是阿里巴巴/蚂蚁金服举全集团之力完成的“壮举”。阿里对技术容忍度超乎想象的高。马云经常讲：我不懂技术，但是我尊重技术。谢谢！参考文献[1][美]DavidM.Kroenke．数据库处理[M]．施伯乐，顾宁，等译．北