3.数据处理与数据库技术

三.数据处理与数据库技术Managementinformationsystems本章主要内容数据处理的概念与内容数据结构1.数据处理概念模型关系模型2.数据库技术范式的种类关系模型的规范化方法3.范式zzzzzzzzz三.数据处理与数据库技术数据处理的概念：数据处理是指从某些已知的数据出发，推导加工成为另一种形式的新数据，这些新的数据又表示了新的信息。在具体操作中，涉及到数据的收集、管理、加工利用乃至信息输出的演变与推导全过程。举例：1.国家统计局的数据公布年业绩报告【PDFfile】（）1.数据处理数据处理的基本内容：•数据收集：根据系统需求和用户需求收集数据•数据转换：数据的代码化•数据筛选、分组和排序•数据组织：数据的逻辑化•数据运算：算术运算和逻辑运算（与或非）•数据存储：•数据检索：•数据输出：•数据结构包括：数据的存储结构和结构上的运算或操作•数据结构分为逻辑结构和物理结构逻辑结构：数据间的逻辑关系线性结构（包括：线性表、栈、队列、串）非线性结构（包括：树、图）物理结构（存储结构）：顺序存储、链接存储、索引存储和散列存储。数据结构•数据结构中的几个重要概念1.指针：结点的地址2.链表3.线性表4.树L左指针I信息R右指针数据域指针域结点的结构指针域补充顺序表、链表的插入与删除。见p50-51•数据库（DataBase）是在一段时期内保存在计算机存储设备上并相互关联的数据信息集合。数据库系统是由计算机系统、数据、数据库管理系统和有关人员组成的具有高度组织的总体。•举例：•1.学生宿舍管理信息数据库：将描述学生的姓名、性别、系别、专业、班级、学号、宿舍号等相关信息存储在一个数据库中。•2.图书馆管理信息数据库：图书馆为了加强对图书的管理，对每一本图书进行分类编号，然后将描述图书的编号、书名、作者、出版社、价格等相关信息存储在一个数据库中。zzzzzzzzz2.数据库技术zzzzzzzzz学生宿舍管理数据库zzzzzzzzz图书馆管理数据库•数据库管理系统（DataBaseManagementSystem，简称DBMS）人们对信息的需要增加，信息量急剧上升，信息数据的形式多样化，对数据的处理必须使用一套操纵和管理数据的系统软件，这种软件就称为数据库管理系统。•DBMS的主要功能包括以下几个方面：•（1）数据库定义功能•（2）数据库操纵功能•（3）数据库运行控制功能•（4）数据库的建立和维护功能•（5）通信功能1.人工管理阶段20世纪50年代中期以前，计算机主要用于科学计算。从硬件看，外存只有磁带、卡片、纸带，没有磁盘、光盘等直接存取的存储设备；从软件看，没有操作系统，没有管理数据的软件，数据处理方式是批处理。这一时期，计算机数据管理的特点是：（1）数据不保存。（2）没有软件系统对数据进行管理。（3）这一时期基本上没有文件概念，数据的组织方式必须由程序员自行设计。（4）一组数据对应一个程序。zzzzzzzzz数据管理技术的发展应用程序1应用程序2应用程序3应用程序n数据集合1数据集合2数据集合3数据集合4......2.文件系统阶段20世纪50年代到60年代中期，计算机的应用范围逐渐扩大，大量用于管理。这时由于计算机大容量存储设备的出现，推动了软件技术的发展，而操作系统的出现标志着数据管理步入了一个新的阶段。这一阶段的数据管理形成了如下特点：（1）数据需要长期保留在外存上反复处理。（2）程序和数据之间有软件提供存取方法进行转换。（3）文件已经多样化。（4）数据的存取基本上以记录为单位。应用程序1应用程序2应用程序3应用程序n文件1文件2文件3文件4......存取方法3.数据库系统阶段计算机用于管理的规模更为庞大，数据量急剧增长，而且数据的共享要求越来越强；有了大容量的磁盘，联机实时处理要求更多，并开始提出和考虑分布处理；软件价格上升，硬件价格下降，为编制和维护系统软件及应用程序所需的成本相对增加。其特点如下：（1）面向全组织的复杂的数据结构。（2）数据冗余度小，易扩充。（3）具有较高的数据和程序的独立性。（4）统一的数据控制功能。（5）数据的最小存取单元是数据项。应用程序1应用程序2应用程序3应用程序n...DBMSDB4.高级数据库技术阶段（1）分布式数据库系统（2）面向对象数据库系统（3）网络数据库系统概念模型又称信息模型，它以用户可以理解的方式描述一个系统，如显示主要对象类型及其关系的图表等。其表示方法最常用的是实体-联系图（Entity-Relationship，E-R）。E-R图独立于计算机系统，按用户的观点在信息世界对数据建模，强调语义表达能力。在数据库设计中完全不涉及数据在计算机系统中的表示方法。概念模型物资入库库存订货付款购进验收合同供应单位结算ILMMINNNNMN数据模型是相对概念模型而言的，是对客观事物及其联系的数据化描述。在数据库系统中，对现实世界中数据的抽象、描述以及处理等都是通过数据模型来实现的。可以说，数据模型在数据库系统设计中是用来提供信息表示和操作手段的形式构架，是数据库系统实现的基础。•数据模型的种类有：层次模型、网状模型、关系模型和面向对象模型。我们主要介绍关系模型。•关系模型应用关系代数和关系演算等数学理论来处理数据库系统中的数据关系。数据模型湖北1986.2.5女刘东计算机系200769123河南1985.7.2男李晓计算机系200769110河北1987.6.3女陈维管理系200759102河南1986.5.2男王卫东管理系200759101籍贯出生年月性别姓名系别学号•关系模型中的主要术语：关系：一个关系对应一张二维表元组：表中的一行称为一个元组属性：表中的一列称为一个属性，给每列起的一个名即为属性名主码（PrimaryKey，也称主关键字）：主码是指表中的某个属性组，它的值唯一地标志一个元组域：指属性的取值范围分量：指元组中的一个属性值关系模式：指对关系的描述，用关系名（属性1，属性2，…属性n）表示湖北1986.2.5女刘东计算机系200769123河南1985.7.2男李晓计算机系200769110河北1987.6.3女陈维管理系200759102河南1986.5.2男王卫东管理系200759101籍贯出生年月性别姓名系别学号范式的概念范式(NormalForm)表示的是关系模式的规范化程度,满足不同约束条件的为不同的范式。满足最低要求的为第一范式,简称1NF。在第一范式里满足进一步要求的为第二范式,其余以此类推。一个低级范式的关系模式，通过分解（投影）方法可转换成多个高一级范式的关系模式的集合，这种过程称为规范化。第一范式（1NF）无重复的列所谓第一范式（1NF）是指关系表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。简而言之，第一范式就是无重复的列。说明：在任何一个关系数据库中，第一范式（1NF）是对关系模式的基本要求，不满足第一范式（1NF）的数据库就不是关系数据库。zzzzzzzzz3.范式不符合第一范式的关系表教师工号姓名工资基本工资岗位津贴1001张兴500601002李明799701003王进40050教师工号姓名基本工资岗位津贴1001张兴500601002李明799701003王进40050符合第一范式的关系表第二范式（2NF）属性完全依赖于主键[消除非主属性对主码的部分函数依赖]第二范式（2NF）是在第一范式（1NF）的基础上建立起来的，即满足第二范式（2NF）必须先满足第一范式（1NF）。第二范式（2NF）要求数据库表中的每个实例或行必须可以被唯一地区分。为实现区分通常需要为表加上一个列，以存储各个实例的唯一标识。例如员工信息表中加上了员工编号（emp_id）列，因为每个员工的员工编号是唯一的，因此每个员工可以被唯一区分。这个唯一属性列被称为主关键字或主键、主码。第二范式（2NF）要求实体的属性完全依赖于主关键字。所谓完全依赖是指不能存在仅依赖主关键字一部分的属性，如果存在，那么这个属性和主关键字的这一部分应该分离出来形成一个新的实体，新实体与原实体之间是一对多的关系。为实现区分通常需要为表加上一个列，以存储各个实例的唯一标识。简而言之，第二范式就是属性完全依赖于主键。教师工号姓名职称科研课题号科研课题名•实现关系规范化：将原关系表拆分为三个关系表（1）教师关系：教师工号、姓名、职称（2）课题关系：科研课题号、科研课题名（3）教师与课题关系：教师工号、科研课题号第三范式（3NF）属性不依赖于其它非主属性[消除传递依赖]满足第三范式（3NF）必须先满足第二范式（2NF）。简而言之，第三范式（3NF）要求一个数据库表中不包含已在其它表中已包含的非主关键字信息。例如，存在一个部门信息表，其中每个部门有部门编号（dept_id）、部门名称、部门简介等信息。那么在的员工信息表中列出部门编号后就不能再将部门名称、部门简介等与部门有关的信息再加入员工信息表中。如果不存在部门信息表，则根据第三范式（3NF）也应该构建它，否则就会有大量的数据冗余。简而言之，第三范式就是属性不依赖于其它非主属性。