主动数据仓库基于规则的事件匹配机制的研究与实现

主动数据仓库基于规则的事件匹配机制的研究与实现作者：张雅鹏学位授予单位：北京邮电大学相似文献(10条)1.学位论文张智明基于规则库的可扩展的数据质量分析框架研究与实现2009企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础的。然而由于各种原因，如人工操作的误输入、网络传输错误等，各个业务系统内部的数据本身存在着一些问题，如数据丢失、数据不一致等。另一方面，对这些业务系统数据进行整合以构建数据仓库时，由于各个系统间数据结构、模式的差异，又会产生新的数据质量问题。根据“进去的是垃圾，出来的也是垃圾（garbagein，garbageout）”这条原理，质量差的数据对企业的决策是毫无意义的。因此在构建数据仓库之前如何进行有效的数据质量分析以尽快发现潜在的问题并加以解决已成为构建数据仓库成败的关键。br　　目前数据质量分析在理论研究上取得了很多成果，也涌现出了很多优秀的数据质量分析工具。在实际应用中，数据质量分析通常依赖于特定的业务规则，如何有效的表述这些规则以辅助数据分析是当前的数据质量分析工具研究中需要解决的一个问题；可扩展性也是当前多数的数据质量分析工具所缺乏的一个重要特性。针对这些问题，本文对数据质量分析的应用做了一定的研究，主要工作和创新点如下：br　　1、研究了数据质量的相关理论，分析总结了数据质量分析方法论。br　　2、将Jess规则引擎引入到数据质量分析中，能够有效地对业务规则进行结构化表示，并自动完成数据质量分析。br　　3、针对现有数据质量分析工具不易扩展的问题，本文提出了一个新的基于规则库的可扩展的数据质量分析框架。用户可设计各种数据质量分析方法，并加入到框架中；一些通用的数据质量分析方法、业务规则可以得到很好的复用，从而达到知识积累的目的。结合该框架，本文对基本的数据质量分析流程进行了扩展完善。br　　4、设计并实现了一个基于该框架的系统原型。整个系统基于EclipseRCP进行构建，用户可充分利用Eclipse插件技术来定制特定的数据质量分析方法，并有机地融入到系统中，实现系统的可扩展性。系统实现了数据汇总分析和基于Jess规则的数据质量分析两个主要功能。2.期刊论文路永和.罗新DSS环境下知识仓库-内蒙古科技与经济2008,(16)文章通过知识仓库的需求分析,提出一个基于DSS的知识仓库的逻辑结构,构建数据挖掘引擎、规则库、知识仓库、推理机以及人机界面的结构,并分别定义各自的功能,与此同时,给出基于数据仓库和数据挖掘的知识获取方法,同时也将知识工人的隐性知识作为知识仓库的一部分,并对基于知识仓库、规则库和模型库的推理方法进行了简要论述.3.学位论文张晴基于规则的银行卡业务异常数据分析系统的设计与实现2004本文在分析了国际上关于风险防范和交易预警做法的基础上，从国内银行的实际情况出发，设计了基于规则库的银行卡异常数据分析系统。该系统具有很强的实用性。本文阐述了相关的研究成果，其具体内容如下：首先，本论文介绍了银行卡业务的特点及其风险管理要求，分析了银行卡业务中的异常交易情况，阐述了进行交易异常分析的必要性和可行性。在此基础上，提出了建立基于规则库的银行卡异常数据分析系统的解决方案。其次，论文描述了从数据的抽取、清洗、转换到异常分析方法、关键技术等多方面的设计思路，描述了异常分析系统的整体架构和规则构建。最后，本文以内容分类为主线，分别介绍了异常分析系统在系统设计和实现中的三大技术重点：数据的预处理技术、数据挖掘和规则抽取技术、规则解释和异常分析方法，详述了系统的实现过程。该系统是将数据仓库和数据挖掘技术运用在银行卡业务分析领域中的一种有益的探索，同时它为提高相关业务系统的运行效率和加强风险防范提供了一种快速有效的解决方案。4.期刊论文刘如九.张振山.柴天佑.LIURujiu.ZHANGZhenshan.CHAITianyou一种通用的多数据库间数据抽取方法及应用-北京交通大学学报（自然科学版）2008,32(4)为方便从多个异构的数据源中抽取转换数据、并加载到目标数据库,提出一种较为通用的抽取方法,并开发了工具软件.该方法基于客户端的方案,使用数据库驱动程序屏蔽异构数据库间的差异;数据的抽取、转换和加载由数据抽取软件执行;数据的抽取转换基于抽取规则,抽取规则采用可视化方法编辑生成;抽取规则存储于规则库,供多次调用修改;多个抽取任务组成抽取任务队列.开发的抽取工具软件DbBridge,支持从Oracle,SQLServer,SAS,Access,Excel等数据源抽取数据.软件成功应用于某数据仓库的建立及数据迁移工作.5.学位论文李亮卷烟专卖营销管理信息系统设计与实现2007综观烟草行业的发展历史，其营销模式分为两个阶段：计划营销模式阶段、面向订单营销模式阶段。计划营销模式的重点在于计划，是一种自上而下的运营模式。由国家局制定卷烟生产计划，工业公司按计划进行生产，商业公司按工业公司配送的卷烟进行销售。由于计划的限制，造成零售商对卷烟需求的矛盾日益加剧。为了适应市场的发展，烟草公司从2007年初开始实行面向订单营销模式，其目的是为了更好的解决客户需求，合理配置市场资源。基于对客户需求与计划卷烟专卖营销策略分析，运用知识管理基本理论和方法，构建了面向订单卷烟专卖营销策略模型。模型由卷烟营销数据仓库管理和营销决策管理组成。卷烟营销数据仓库管理分为：数据采集、数据归档与过滤、卷烟营销数据仓库三部分。数据采集负责每个零售商每批次，每月、每季度、每年的购进、销售、库存等数据，以及商业公司向工业公司的购进、销售、库存等数据。数据归档与过滤负责对采集的海量数据进行过滤、归整处理，将订单及其它数据建立有效索引便于高效决策。卷烟营销数据仓库用来存储所求解问题的初始状态、原始证据、已知事实、推理的中间状态和最终结论等等。营销决策管理分为：决策应用、决策控制器、规则库三部分。决策应用层可以快速调出指定时间段的订单信息，并结合策略支持库相应分析策略进行决策分析，系统将根据同比、环比数据，智能预测销售走势，为决策层提供最准确的决策数据。决策控制器负责产生式规则的前提条件的测试和匹配，规则调度和选择，动态数据库的状态更新，多条规则被激活时发生冲突的消解，推理结束的判定等。规则库用来存放一系列产生式规则，控制器，负责产生式规则的前提条件的测试和匹配，规则调度和选择等。本系统通过采用CRM基本理论和方法，优化了企业与客户之间的关系。通过采用工作流技术，解决了多人之间表单传输问题，提高了工作效率。通过上述技术支持，本系统实现了计划营销模式与面向订单营销模式之间的平稳过度，同时也为行业内其它烟草局的新旧模式过度提供了很好的借鉴作用。6.学位论文宋先秀电信行业营销服务支撑系统的设计和实现2009随着3G时代的到来，电信行业的业务种类变得更为繁多、复杂，客户的移动通信需求也日益个性化、差异化，如何及时了解客户需求，把握客户消费行为等信息的变化，全方位掌控市场动态倾向，及时作出决策是企业生存与发展的重要环节，企业利润的降低使企业必须实现营销服务模的转变，即从以产品为中心转变到以客户为中心上来。以客户为中心的经营决策需要快速、尽可能多的定量分析，而不是似是而非的较浅层面的定性分析。而随着数据库技术的成熟，数据仓库、数据集市、OLAP技术的广泛应用使这种转变成为可能。本系统正是在这样的背景下，以数据集市为数据支撑，引入RBAC模型作为权限管理机制，采用.NET开发平台设计并实现的一个决策支持分析系统。本文分析了系统所采取的关键理论技术，结合.NET框架所提供的三层架构及数据集市的具体实施过程，设计了“表示层-业务层-数据层-获取层”的四层软件模型，而数据集市的数据模型则结合各种模型的优缺点，应用了星型模型和雪花模型两种。在本课题中，决策分析主要面向数据，涉及到了数据集市面向业务的通用性应用和面向技术的报表分析应用两个方面，即营销服务助手中的客户统一分析视图和订制报表两个功能模块。这两个模块属于企业内部的业务创新，本系通过建立业务规则库使客户分析具有个性化、灵活性等特点，而设计的基于数据源模型则使订制模块具有自动化、实时性及可控制性等特点。本文从功能、安全性、实地应用等方面对系统展开了测试，测试结果表明，数据集市所生成的数据是完整、正确的。在此基础上，系统的各个功能模块也符合预期的设计目标，达到了企业的实用性要求，同时，在性能上也满足了企业的日常工作要求。最后，对全文进行了总结并客观评价了系统的优点和不足，并展望了系统未来的发展方向。7.期刊论文周瑾.ZHOUJin基于商务智能的税务征管决策支持研究-中国管理信息化2009,(9)我国税务信息化经过多年发展已积累了大量数据,基于商务智能技术的税务决策支持系统可以充分利用这些数据支持税收征管工作.本文介绍了商务智能技术在税务分析和税收征管决策中的支持应用,以及构建基于商务智能的税务决策支持系统的关键问题:数据库统一规划、模型的构造、知识库的建设、业务规则库的建设、缺乏相关复合型人才.8.学位论文梁子豪数据挖掘构件库系统的知识库研究与实现2008当今的社会处于信息爆炸的时代,企业数据仓库中数据的数量日益庞大。数据挖掘应用能够从数据中抽取潜在的有价值的知识,提供更丰富的数据支持,帮助企业领导在业务管理和发展方面做出正确的判断。基于可复用构件的开发,能够节省开发的成本并提高软件质量。因此通过建立数据挖掘构件库,能够很好地解决数据挖掘应用开发过程中软件重用的问题。然而实际的使用中,普通的用户往往存在专业背景知识不足的问题,无法像专业人才那样运用数据挖掘构件,使得数据挖掘应用难于得到推广。本文在讨论构件库的现状和已有的构件检索方法的基础上,参考国际数据挖掘标准流程CRISP-DM,在数据挖掘构件库系统中加入知识库,建立了规则库、方案库以及构件检索词库,以导航的方式,为用户提供构件推荐。首先,系统根据数据挖掘流程和输入数据的统计分析结果匹配对应的规则,推理得到数据挖掘构件方案,供用户选取；然后,系统根据用户所选择的方案,提供给用户具体的数据挖掘构件下载；最后,用户可以将下载后的构件在数据挖掘工具的设计面板中连接成完整的数据挖掘工程。整个系统将数据挖掘(DM)工具和数据挖掘构件库整合起来,从而扩充了DM工具的功能,使其可以灵活地复用构件库中的构件,同时也使构件库可以更好地利用DM工具作为构件组装的平台,方便构件的复用,提高了数据挖掘构件的复用水平,降低了数据挖掘技术的使用门槛,有利于数据挖掘的推广。本文还讨论了知识库的相关理论,包括知识库定义,知识表示方法,产生式系统以及Rete网络。最后设计实现了一个跨平台、多用户式的数据挖掘构件库系统,实现了其中的知识库系统,并且定义了规则库中规则的格式,其灵活的表示方法为增加新的规则以及方案的扩展提供了便利。本文研究工作的主要创新点如下：1、建立支持数据挖掘构件库的知识库,以知识表示数据挖掘构件,构建了一个可灵活修改的的规则库,一个基于CRISP-DM数据挖掘流程的方案库,并且构建了一个构件检索词库。2、利用知识库系统中的推理引擎以及规则库,设计了针对数据挖掘构件的推荐策略,实现了知识库对数据挖掘应用开发流程的控制。3、以导航的方式检索构件,结合数据挖掘开发流程模型,对流程模型进行细分,由此推导得到方案,供用户下载相应的构件。通过增加与用户的交互过程,提高了检索构件的搜全率。4、通过知识库将DM工具和数据挖掘构件库系统紧密的联系起来,成为一个能够进行构件管理、构件组装以及支持构件复用的数据挖掘开发环境。9.期刊论文唐捷.TANGJie基于元数据的空间数据ETL规则库设计研究-现代计算机(专业版)2009,(5)空间数据仓库可以有效地管理和利用空间信息以便支持空间分析和决策支持.空间数据抽取、转换和加栽是空间数据仓库研究中最重要的问题之一,利用元数据对空间ETL过程进行控制,可以增加该过程的灵活性和可扩展性.提出一种基于元数据驱动的空间数据ETL新方法,介绍基于元数据的空间数据ETL规则库设计理念.10.学位论文张延华智能化信息处理