数据分析与挖掘习题

数据分析与挖掘习题第一章作业1.1什么是数据挖掘？在你的回答中，强调以下问题：(a)它是又一个骗局吗？数据挖掘，在人工智能领域，习惯上又称为数据库中知识发现(KnowledgeDiscoveryinDatabase,KDD)，也有人把数据挖掘视为数据库中知识发现过程的一个基本步骤。数据挖掘可以与用户或知识库交互。并非所有的信息发现任务都被视为数据挖掘。例如，使用数据库管理系统查找个别的记录，或通过因特网的搜索引擎查找特定的Web页面，则是信息检索（informationretrieval）领域的任务。虽然这些任务是重要的，可能涉及使用复杂的算法和数据结构，但是它们主要依赖传统的计算机科学技术和数据的明显特征来创建索引结构，从而有效地组织和检索信息。尽管如此，数据挖掘技术也已用来增强信息检索系统的能力。(b)它是一种从数据库，统计学和机器学习发展的技术的简单转换吗？硬要去区分DataMining和Statistics的差异其实是没有太大意义的。一般将之定义为DataMining技术的CART、CHAID或模糊计算等等理论方法，也都是由统计学者根据统计理论所发展衍生，换另一个角度看，DataMining有相当大的比重是由高等统计学中的多变量分析所支撑。但是为什么DataMining的出现会引发各领域的广泛注意呢？主要原因在相较于传统统计分析而言，DataMining有下列几项特性：1.处理大量实际数据更强势，且无须太专业的统计背景去使用DataMining的工具2.数据分析趋势为从大型数据库抓取所需数据并使用专属计算机分析软件，DataMining的工具更符合企业需求；3.纯就理论的基础点来看，DataMining和统计分析有应用上的差别，毕竟DataMining目的是方便企业终端用户使用而非给统计学家检测用的。(c)解释数据库技术发展如何导致数据挖掘近年来，数据挖掘引起了信息产业界的极大关注，其主要原因是存在大量数据，可以广泛使用，并且迫切需要将这些数据转换成有用的信息和知识。获取的信息和知识可以广泛用于各种应用，包括商务管理，生产控制，市场分析，工程设计和科学探索等。数据挖掘利用了来自如下一些领域的思想：(1)来自统计学的抽样、估计和假设检验，(2)人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。(d)当把数据挖掘看作知识发现过程时，描述数据挖掘所涉及的步骤。知识发现过程以下三个阶段组成：（1）数据准备，（2）数据挖掘，（3）结果表达和解释。1.2给出一个例子，其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能？他们能够由数据查询处理或简单的统计分析来实现吗？由于统计学基础的建立在计算机的发明和发展之前，所以常用的统计学工具包含很多可以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。但这个“大”对于英国大的信用卡公司每年350,000,000笔业务或AT&T每天200,000,000个长途呼叫来说相差太远了。很明显，面对这么多的数据，则需要设计不同于那些“原则上可以用手工实现”的方法。这意味这计算机（正是计算机使得大数据可能实现）对于数据的分析和处理是关键的。分析者直接处理数据将变得不可行。相反，计算机在分析者和数据之间起到了必要的过滤的作用。这也是数据挖掘特别注重准则的另一原因。尽管有必要，把分析者和数据分离开很明显导致了一些关联任务。这里就有一个真正的危险：非预期的模式可能会误导分析者。在现代统计中计算机是一个重要的工具，并不是因为数据的规模。而是对数据的精确分析方法如bootstrap方法、随机测试，迭代估计方法以及比较适合的复杂的模型正是有了计算机才是可能的。计算机已经使得传统统计模型的视野大大的扩展了，还促进了新工具的飞速发展。下面来关注一下歪曲数据的非预期的模式出现的可能性。这和数据质量相关。所有数据分析的结论依赖于数据质量。GIGO的意思是垃圾进，垃圾出，它的引用到处可见。一个数据分析者，无论他多聪明，也不可能从垃圾中发现宝石。对于大的数据集，尤其是要发现精细的小型或偏离常规的模型的时候，这个问题尤其突出。当一个人在寻找百万分之一的模型的时候，第二个小数位的偏离就会起作用。一个经验丰富的人对于此类最常见的问题会比较警觉，但出错的可能性太多了。1．3数据仓库和数据库有何不同？它们有那些相似之处？数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。单从概念上讲，有些晦涩。任何技术都是为应用服务的，结合应用可以很容易地理解。以银行业务为例。数据库是事务系统的数据平台，客户在银行做的每笔交易都会写入数据库，被记录下来，这里，可以简单地理解为用数据库记帐。数据仓库是分析系统的数据平台，它从事务系统获取数据，并做汇总、加工，为决策者提供决策的依据。比如，某银行某分行一个月发生多少交易，该分行当前存款余额是多少。如果存款又多，消费交易又多，那么该地区就有必要设立ATM了。显然，银行的交易量是巨大的，通常以百万甚至千万次来计算。事务系统是实时的，这就要求时效性，客户存一笔钱需要几十秒是无法忍受的，这就要求数据库只能存储很短一段时间的数据。而分析系统是事后的，它要提供关注时间段内所有的有效数据。这些数据是海量的，汇总计算起来也要慢一些，但是，只要能够提供有效的分析数据就达到目的了。数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。那么，数据仓库与传统数据库比较，有哪些不同呢?让我们先看看W.H.Inmon关于数据仓库的定义:面向主题的、集成的、与时间相关且不可修改的数据集合。“面向主题的”:传统数据库主要是为应用程序进行数据处理，未必按照同一主题存储数据;数据仓库侧重于数据分析工作，是按照主题存储的“与时间相关”:数据库保存信息的时候，并不强调一定有时间信息。数据仓库则不同，出于决策的需要，数据仓库中的数据都要标明时间属性。决策中，时间属性很重要。同样都是累计购买过九车产品的顾客，一位是最近三个月购买九车，一位是最近一年从未买过，这对于决策者意义是不同的。“不可修改”:数据仓库中的数据并不是最新的，而是来源于其它数据源。数据仓库反映的是历史信息，并不是很多数据库处理的那种日常事务数据(有的数据库例如电信计费数据库甚至处理实时信息)。因此，数据仓库中的数据是极少或根本不修改的;当然，向数据仓库添加数据是允许的。数据仓库的出现，并不是要取代数据库。目前，大部分数据仓库还是用关系数据库管理系统来管理的。可以说，数据库、数据仓库相辅相成、各有千秋。为了更好地为前端应用服务，数据仓库必须有如下几点优点，否则是失败的数据仓库方案。1.效率足够高。客户要求的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。2.数据质量。客户要看各种信息，肯定要准确的数据，但由于数据仓库流程至少分为3步，2次ETL，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。3.扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，客户不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。第二章作业1.简述以下高级数据库系统和应用：面向对象数据库、空间数据库、文本数据库、多媒体数据库和。面向对象是一种认识方法学，也是一种新的程序设计方法学。把面向对象的方法和数据库技术结合起来可以使数据库系统的分析、设计最大程度地与人们对客观世界的认识相一致。面向对象数据库系统是为了满足新的数据库应用需要而产生的新一代数据库系统。在数据库中提供面向对象的技术是为了满足特定应用的需要。随着许多基本设计应用(如MACD和ECAD)中的数据库向面向对象数据库的过渡，面向对象思想也逐渐延伸到其它涉及复杂数据的应用中，其中包括辅助软件工程(CASE)、计算机辅助印刷(CAP)和材料需求计划(MRP)。这些应用如同设计应用一样在程序设计方面和数据类型方面都是数据密集型的，它们需要识别于类型关系的存储技术，并能对相近数据备份进行调整.空间数据库指的是地理信息系统在计算机物理存储介质上存储的与应用相关的地理空间数据的总和，一般是以一系列特定结构的文件的形式组织在存储介质之上的。空间数据库的研究始于20世纪70年代的地图制图与遥感图像处理领域,其目的是为了有效地利用卫星遥感资源迅速绘制出各种经济专题地图。由于传统的关系数据库在空间数据的表示、存储、管理、检索上存在许多缺陷，从而形成了空间数据库这一数据库研究领域。而传统数据库系统只针对简单对象，无法有效的支持复杂对象（如图形、图像）。空间数据库引擎技术是目前系统集成中广泛使用的中间件技术在空间数据库应用解决方案中的一种实现,虽然付出了附加中间层的额外代价,但它较好地解决了GIS应用与空间数据库集成中数据提供与访问模式方面的制约瓶颈问题,是一种比较可行的方案.而面向对象的Geodatabase是第三代数据模型,它克服了拓扑关系数据模型的缺点,由于它是面向对象的,因此能够方便地构造用户需要的任何复杂地理实体,而且这种模式符合人们看待客观世界的思维习惯,便于用户理解。文本数据库（TXTDB）是一种常用的数据库，也是最简单的数据库。任何文件都可以成为文本数据库。关于文本数据库可以为任何扩展名，在文件中写入任何信息，通过程序（比如PHP、ASP等）来读写文本数据库的内容。对于无需并发访问的数据库，其次数据库不大（比如只有一条记录），或者不需要修改删除数据的数据库才适合使用文本类型。比如网站的超级管理员，使用文本数据库存放就有优越性，无需任何数据库扩展，检查权限的程序直接获取文本内容即可，性能会比任何数据库都高。这个表很少修改，而且也不会许多记录，所以适合用文本数据库。多媒体数据库是为了实现对多媒体数据的存储、存取、检索和管理而出现的一种新型数据库技术。简单地说，多媒体数据库是按一定方式组织在一起的可以共享的相关多媒体数据的集合，简称MDB(MultimediaDatabase)。与传统数据库应用中的主流数据库系统——关系模型数据库相比，多媒体数据库中的数据是非格式化的、不规则的，没有统一的取值范围，没有相同的数据量级，也没有相似的属性集。关系数据库中关系模型主要针对的是整数、实数、定长字符等规范数据，关系数据库的设计者必须把真实世界抽象为规范数据；目前的多媒体数据库一般应用经过扩展的关系模型，多媒体数据库的设计者将真实世界的模拟信号(图形、图像、音频、视频等)经数字化，并对原始多媒体数据进行特征参数提取获得规范数据(元数据)，然后将这些规范数据和原始多媒体的非规范数据通过关系模型合成为一个元组。万维网（亦作“网络”、“”、“3W”，英文“Web”或“WorldWideWeb”），是一个资料空间。在这个空间