工业数据库与数据挖掘(4实时数据库)

背景空中交通管制、雷达跟踪、工厂生产过程控制、证券交易、电力系统等领域工业过程自动控制在线监测和控制，设备运行状态的监控、诊断和事故处理、生产状态和设备间的协调控制，以及厂级生产管理决策与控制包含了对数据的“定时”存取和对“短暂有效”数据的存取，第四章实时数据库背景要求在一确定的时刻或一定的时间期限内，从外部环境采集数据、按彼此间的联系存取并处理采集到的数据，再及时地做出响应。所处理的数据往往是“短暂”的，即只在一定的时间范围内是有效的，过时则数据将失去意义，所以这种应用同时需要数据库技术和实时数据处理技术。第四章实时数据库1需要维护大量共享数据和控制信息2应用活动都有很强的时间性背景传统的数据库系统旨在处理永久、稳定的数据，强调维护数据的完整性、一致性，其性能目标是高的系统吞吐量和低的代价，而不考虑有关数据及其处理的定时限制，不能满足这种实时应用的需要。第四章实时数据库背景及时性和正确性同等重要的性能指标.甚至多数情况下，情愿满足及时性而接受只满足局部正确性的数据，完全正确但超时（过时）的数据将成为无用信息实时数据库系统（Real-TimeDatabaseSystemRTDBS）就是其数据和事务都具有定时特性或着显式的时间限制的数据库系统第四章实时数据库背景实时数据库需要具有两方面的特性实时性：即其数据是实时的，其数据来源是其自动从工业现场采集实时数据，每一个数据都有时标。数据库技术：该系统中管理了大量的数据，同时提供数据的存贮、检索、修改、加工等多方面的数据管理手段第四章实时数据库背景数据的时间相关性给数据存储、组织与存取都是“识时”的，并非所有数据都是永久性的，相反多数数据都是暂时性的，甚至并非一定要把结果保存到永久数据库中；“识时”协议和“时间正确性”的调度与并发控制，不同于传统数据库，对于实时数据库而言，最重要的并非可串行化调度；第四章实时数据库背景主要的数据库产品美国OSISoftware公司PI(PlantInformationSystem)AspenTech公司Infoplus.21InStep公司的eDNA美国HONEYWELL公司PHD(ProcessHistoryDatabase)SUPCON的ESP-iSYS紫金桥实时数据库产品RealDB第七章实时数据库实时数据模型实时数据库由三类数据对象组成:映像对象(IMO，ImagineObject)、导出对象(DEO，DerivedObject)不变对象(INO，InvariantObject)。第四章实时数据库实时数据模型映像对象IMO在RTDB中，现实世界的对象(RWO，RealWorldObject)由传感器监视，它的值被周期性地采样并写入数据库，数据库中这种被写入RWO值的数据对象就称为映像对象(IMO)。第四章实时数据库实时数据模型映像对象IMO一个IMO就是一个RWO在特定时刻的映像。一个IMO有一个对应于RWO最近采样的时间或有效时间与之相连，这个时间称为“采样(或事件)时标”(Sampling/EventTimestamp)，或简称为时标，自此开始至下一次采样发生的时间间隔(Interval)就是该IMO的有效期(ValidityInterval)或外部有效期。第四章实时数据库将一个IMO值的采样与写入操作建模为一个周期的实时事务。一个IMO的值一旦记入数据库，就不再被更改，而将对应RWO在后来时刻的采样值写入数据库作为一新的IMO。实时数据库保存这些IMO的存档记录。例如，工厂中某处传感器在时刻ti所采样的温度就是一个IMO；第四章实时数据库实时数据模型导出对象DEO一个DEO在一个事务的执行过程中由一组IMO和/或其它数据对象计算而得，与DEO相连的时标是用来导出它的数据对象的最晚时标或事务时间(TransactionTime)，其有效期为各数据对象有效期之交，且可以有多个时间区间之并的形式。与IMO不同，DEO的值在数据库中可能被更新，其存储记录可以保存也可以不保存。第四章实时数据库实时数据模型不变对象INO一个INO就是一个对时间而言保持不变的值。它可看作是值不随时间而改变、且其时标为系统初建时刻(设为t0)的实时数据的特例,其有效期总是自RTDBS建立时起到“当前”(即tc)。第四章实时数据库实时数据模型我们可以得到以下RTDB的定义:第四章实时数据库实时数据模型设RWO表示现实世界对象的集合,它可看作为VO和CO两子集组成,VO是可变对象集,CO是不变对象集；CAP(VO,ti)表示在时刻ti时对现实世界中可变对象集合VO的采样操作；F(CO)表示对现实世界中不变对象CO的一次性取值,第七章实时数据库实时数据模型DO表示一个数据对象(DataObject)的集合,它是RTDB的子集；CAL(DO)表示对DO的计算操作；IMOn为当前映像对象集,IMO1,IMO2,……,IMOn-1为数据库的存储映象对象集。第四章实时数据库实时数据模型一致性特征一个实时数据对象定义为一个三元组d:v,avi,tp。其中分量d.v、d.tp、d.avi分别为d的当前状态值、时标和有效期(即自d.tp算起在d.v时间间隔内有效)。第四章实时数据库实时数据模型一致性特征外部一致性RTDB依赖数据库与外部世界频繁交换获取准确、及时的数据。外部一致性是指事务使用的数据库中的数据在其有效的时间范围内。相互一致性对于用来决策或者导出数据的一组数据，在使用时，这样一个相互一致的数据存在相互有效期。相互一致性是指这组数据在相互有效期内使用。时间一致性数据既是外部一致的又是相互一致的。第四章实时数据库实时数据模型一致性特征内部一致性传统意义上的数据库内部一致性，满足预先定义的数据库的完整性和一致性要求。需要通过数据的完整性检验和事物的可串行化性能。数据的正确性数据同时具备内部一致性和时间一致性。第四章实时数据库第七章实时数据库第七章实时数据库三实时事务模型1事务结构实时任务往往具有结构上的相互联系，所以传统的无结构的、原子性的和独立的事务模型不完全适用实时应用第四章实时数据库三实时事务模型事务结构功能替代对于一个任务可以有不同的实现路径；结果补偿对于一个(子)事务，可以改变物理世界的状态，当夭折后，可能无法恢复（undo）.需要启动补偿事务,也有可能无法补偿。无法补偿的(子)事务,在确知需要之前,不能提交.第四章实时数据库三实时事务模型事务结构嵌套事务结构上一个事务是另一个事务的子事务。事务在特定环境下被触发执行；对于开端事务，由于资源问题，被分解若干子事务；形成事务树。第四章实时数据库三实时事务模型事务结构嵌套事务触发：开始的事务由外部或内部事件触发；子事务由父事务显式触发；提交子事务的结果完成，向父事务提交，由父事务存取，对数据意义库不是严格意义的提交；在开始事务提交后，才将所有结果提交给数据库。第四章实时数据库三实时事务模型事务结构嵌套事务夭折父事务夭折，则所有后代夭折；子事务夭折，可以有如下选择：重新启动子事务；执行补偿子事务；忽略夭折事件；自身夭折，向上传递；第四章实时数据库三实时事务模型事务结构合作性实时事务总是“合作”进行的，除了前面所述的结构联系外，彼此间还有许多联系，如共享数据联系、通讯联系、时间上的联系等。第四章实时数据库三实时事务模型事务结构结构相关开始依赖：事务t1开始意味着事务t2先开始;提交依赖：只有事务t2提交或夭折后t1才能提交；夭折依赖：事务t2夭折包含了t1的夭折；第四章实时数据库三实时事务模型2时间特性“循环”事务（loopedtransaction）就是一个被循环地执行着的一般或结构事务。它象一个周期事务，但一次执行的结束就是下次执行的开始，是一个整体。第四章实时数据库三实时事务模型2时间特性“开端”事务（open－endedtransaction）一个具有长执行期的一般事务或结构事务。第四章实时数据库三实时事务模型定时限制由需要不断跟踪外部环境所施加于系统的反应时间要求引起。这种定时限制典型地取施加于非周期事务的截止期形式。截止期是一个时区（interval）它被看作是对“将来”的一种限制，如“飞机必须在10秒内完成着陆准备”。第四章实时数据库三实时事务模型定时限制由于要保持由数据库的内容所反映的状态与外部环境的实际状态的一致性而引起的。它可被看作是对“过去”的一种限制的一个时间窗口。这类定时限制常常以周期的形式给出，如“每5秒取样速度一次”。定时限制要求系统具备时间处理机制和“识时”的事务处理。不同的事务表现出不同的定时限制特性“硬、软、固，这取决于事务超过截止期所可能引起的后果。第四章实时数据库三实时事务模型定时限制硬截止事务：事务超过截止期将给系统带来灾难性后果，其价值函数可能取负值，它对应于安全危险性活动。第四章实时数据库三实时事务模型2时间特性定时限制软截止事务：截止期并不十分严格。事务超过截止期后仍具有一定的实用意义，其价值函数将保持正值，直至某个时刻其价值函数返回零值或不返回值，并保持不变。第四章实时数据库三实时事务模型2时间特性定时限制固截止事务：一旦事务到达截止期，则对系统失去意义，马上别系统放弃。其价值函数返回值马上为零，并保持不变，其实质是软截止的一个特例。第四章实时数据库HarddeadlineSoftdeadlineFirmdeadlineNon-deadline第四章实时数据库三实时事务模型3时间相关时间相关性是实时数据库事务所特有的，它表明事务的执行顺序或紧迫度，通常以“事务事件”来表示。我们分别以BEGINt，COMMITt和ABORTt来表示事务t的“开始”，“提交”和“夭折”时间的发生时间，第四章实时数据库三实时事务模型3时间相关1时序相关事务间按相互关系有7种最基本的时序关系timeAAAAAAABBBBBBB第四章实时数据库3实时事务特征2带时限的时序关系上述时序相关仅表明有关事务中相应事务事件发生的时间顺序，没有截止时间要求。例子1：事务A必须在事务B提交后5秒内提交。A，B间的时序相关为例子2：事务在事务开始后10秒内执行完毕。其时序相关表示如下：第四章实时数据库4实时事务调度事务状态就绪态指任务己经准备好，可以运行，但由于该任务的优先级比正在运行任务的优先级低，暂时不能运行;运行态指任务掌握了处理器的控制权，正在运行中;阻塞态是指任务在等待某一条件的满足(例如等待某外设的操作，等待某共享资源由暂时不能使用变成能使用状态，等待定时脉冲的到来或等待超时信号的到来等等)。第四章实时数据库4实时事务调度特征可预报性实时事务的定时限制必须确保，因而就要预测这种事务是否会满足其截止期。这要求事先知道事务的最坏情况执行时间及其所需数据与资源，并要求这种最坏情况预测与实际的差别尽可能小。优先级大多数实时调度策略都是基于优先级使用的，所以事务优先级的赋值策略对于事务调度的效率是非常重要的。优先级反映了事务的紧迫性。事务的许多属性会影响其优先级。第四章实时数据库4实时事务调度优先级时间约束——例如期限。事务重要性——事务满足期限的重要程度。资源需求——包括预期的I/O操作数，预期的CPU的使用情况预期的执行时间——对于实时事务，这一般很难预测，但在满足事务期限前提下，预期的执行时间有个可承受的范围。数据要求——事务将要读哪些数据，写哪些数据等。第四章实时数据库4实时事务调度紧迫性（r）——事务越紧迫，其优先级就应该越高。期限（d）——期限越早，其优先级也应该越高。未完工作量（l）——未完成的工作量越少，事务的优先级就应该越高。在事务临近完成时的一种极端情况是，它的优先级会被提升到一个很高的值。这可以使一个将要完成的事务（它需要最少的资源）快速完成。这个事务所占用的资源也就可以及时得到释放，从而减少了其它事务的阻塞。第四章实时数据库4实时事务调度已投入的计算量（c）——一个事务已完成的计算量越多就可以赋予越高的优先级。年龄（a）——一个越早到达的事务应该有越高的优先级。这会缩短轮转时间并有助于保持数据的绝对一致性。宽余度（s）——如果把事务的到达时间记录为ta，则其宽余度可表