移动数据库中实时复制与同步技术研究

华中科技大学硕士学位论文移动数据库中实时复制与同步技术研究姓名：马思懿申请学位级别：硕士专业：计算机软件与理论指导教师：卢炎生20080606华中科技大学硕士学位论文摘要人类社会不断发展，当今社会已步入信息时代。进入90年代以来，随着移动通信技术的迅速发展和投入使用，许多计算结点已在自由移动的过程中保持网络连接，于是，“移动计算”和“移动数据库”的概念应运而生，并且正在成为一个新兴的热点研究领域。复制与同步技术是移动数据库的关键技术，是移动数据库中的重要组成部分。创建缓存可以降低远程访问该数据的网络延迟以及带宽消耗，还可以提高网络的负载均衡。而良好的缓存控制机制可以有效的提高缓存区的利用率，提高事务提交的成功率。客户端的一致性问题是缓存技术一个重要研究内容，保持客户端缓存的一致性就是要保持客户端缓存与服务器数据的一致性。要解决的问题很多，如用什么方法来保持客户端缓存与服务器数据的同步更新，如何在重连后保持缓存与服务器数据的一致性，如何提高客户端提交事务的成功率等。一种改进的方法是采用关联控制、实时控制的双向控制策略，根据数据的周期性和关联性来判断事务提交或夭折。一种改进的上载事务队列结构，可通过解析sql语句将事务的数据集和结果集一并转化为查询的形式，这样可以提高数据集和结果集的输出效率，从而使客户端的负载减小，上载事务队列的负荷也降低，从而提高了对上行链路的利用率。关键词：移动数据库，数据复制，数据同步，客户端缓存I华中科技大学硕士学位论文AbstractWiththedevelopmentofhumansociety,themodernsocietyhasbecomeinformaionperiod.Withthedevelopmentofmobilecommunicationtechnologyinthe1990s,manycomputingnodescontinuesthenetworkconnectionwhilemovingfreely.Thisbringsabouttheconceptofmobilecomputingandmobiledatabase,whichbecomesalatestresearcharea.Duplicateandsyncroningtechniqueisthekeytechniqueofmobiledatabase,andisanimportantcomponentofmobiledatabase.Creatingacachecandecreasethenetworkdelayofdistantaccessandbandwith.Alsoitcanprovideloadbalance.Goodcachecontrolsystemcanpromotetheefficiencyofthecacheandincreasetheprobabilityofsuccessfulsubmission.Thispapermainlydotheresearchonthecontrolandimproveofthecache.Theconsistencyoftheclientisanimportantresearchareaincachetechnology.Keepingtheconsistencyoftheclientcachemeanskeepingtheconsistencyofclientcacheandserverdata.Howtokeepthesyncronousupdatingoftheclientcacheandtheserverdata,howtokeeptheconsistencyofcacheandserverdataafterreconnection,howtoincreasetheprobabilityofsuccessfulsubmissionoftheclient.Animprovedmethodisusingrelatedcontrol,timecontrol.Judgeifthetransactioncommitissuccessfulbytheregularityandrelativityofdata.Useimproveduploadtransactionqueue,convertthedatasetandresultsetintoinquireformbyanalysingsqlsentence,soastoimprovetheoutputefficiencyofdatasetandresultset.Thusdecreasetheclientloadandtheuploadtransactionqueue.Thisincreasestheefficiencyofuploadlink.Keywords:MobileDatabase，DataReplication，DataSyncronization，ClientCacheII独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_______年解密后适用本授权书。本论文属于不保密□√。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日华中科技大学硕士学位论文1绪论1.1研究背景图1.1移动计算环境典型结构[1]计算技术和无线通讯技术的发展与结合使得一种全新的计算模式——移动计算模式成为现实。在移动计算环境下如图1.1所示，用户使用便携式计算机通过无线通讯接口可以实现对信息网络的访问，而不受实际物理位置变化的影响。在过去的10年里，这种全新的计算模式得到了飞速的发展，并在越来越多的领域中发挥了不可替代的作用。可以预测，移动计算模式必将成为未来信息时代的重要成员，并对人们使用信息的方式产生深远的影响。移动计算环境比传统的计算环境更为复杂和灵活，计算平台的移动性、连接的频繁断接性、网络条件的多样性、网络通讯的非对称性、系统的高伸缩性和低可靠性以及电源能力的有限性等因素使得传统的分布式数据库技术已不能有效地支持移动计算。因此，研究移动计算环境中的数据库管理1华中科技大学硕士学位论文技术，已成为数据库研究领域的一个新方向，称之为移动数据库技术[1]。1.2移动计算环境特点在传统的计算环境中，各个节点都是依靠固定网络连接在一起的，并始终保持网络的持续连接性。而在移动计算环境下，用户不再需要停留在固定的位置，他们可以携带移动设备自由移动，同时通过移动通信网络保持与固定节点和其他移动节点保持连接。与传统环境相比，移动计算环境具有以下特点：1.用户的移动性用户可以在户外移动过程中进行各种操作。2.网络带宽的不对称性下行（中心服务器到移动终端）带宽大于上行（移动终端到中心服务器）带宽。移动终端甚至可以在不能发送信息的情况下仍可以接收到中心服务器发送给它的信息。但即便如此，下行带宽一般也只有10～20kb/s，无线局域网可能可以达到10Mb/s。3.频繁断接移动终端可能因为用户为了节省电源、节约通讯费用而主动关机或由于通信故障而间歇性地入网、断接。另外，移动设备也有其特殊之处：（1）电源能力有限移动设备一般电池供电，电源一般只能维持4～6小时。因此在查询优化的代价估算时就应该考虑，应该把运行时间很长的查询放到中心数据库做。（2）计算能力有限目前移动设备的昀高主频一般为400MHz，难以执行复杂的查询。（3）存储能力有限（4）屏幕面积小2华中科技大学硕士学位论文1.3国内外研究状况简述数据复制与缓存技术是移动数据库中的重要技术之一。数据复制的主要目的是提高数据库系统的可用性，可靠性以及访问性能。传统的复制技术主要考虑在服务器之间的复制，并且假设服务器之间是经常保持联接的；此外，传统的复制策略都是静态的，即由系统管理员统一安排好复制布局后就固定不变了，如果系统中用户访问类型发生较大变化而要求改变这种布局时，必须要管理员重新配置分布系统。因此，传统复制技术在移动计算环境中不能有效工作。同样，缓存技术也在传统的数据库中得到广泛应用，它通过在客户机上缓存部分数据，达到减少访问数据库服务器的目的，从而提高了性能。但是，传统的缓存技术要求客户机保持与服务器的联接，这样才能维护缓存的一致性。因此，对于经常需要断接操作的移动客户机来说，传统的缓存技术也是不适用的。针对移动计算，人们对复制与缓存技术已进行了较深入的研究。z两级复制机制[2]JimGray等提出的两级复制机制是一种非常具有代表性的移动复制算法。在两级复制机制中，数据库由一组复制的数据对象组成，其中主副本存放在基结点(即固定网络的结点)上。整个移动复制系统划分为两级:第一级为移动结点，这些结点频繁地与固定网络断连;第二级为基结点，它们通过固定网络保持持续性的连接。所有在第一级结点上执行的事务均只是暂态事务，当移动结点重新与基结点连接时，暂态事务转化为基事务在基结点上重新执行。为了保证基事务不会产生异常结果，需要规定若干约束条件对基事务产生的结果进行验证。z虚拟主副本方法[3]虚拟主副本方法是在原有主副本方法的基础上，根据移动计算环境的特点经过改进而得。在整个移动计算环境中，数据被复制成多个副本。根据数据访问的概率和模式，主副本可以存放于固定网络的结点(称为基结点)，也可存放于移动结点，其中移动结点上的主副本称为移动主副本（MPC）。每个移动结点由一个固定的宿主基结点(HomeBaseNode,HBN)进行管理，其基本信息也都记录在其HBN中。带有MPC的移动结点在无线网络中漫游时，系统将根据通讯代价及距离的远近不断改变与之交换数据的基结点，以使通讯的代价昀小。新近被选中的基结3华中科技大学硕士学位论文点上的副本就成为该MPC的虚拟主副本(VirtualPrimaryCopy,VPC)。由于一个MPC的VPC是动态变化的，因此其VPC的信息需要记载在其HBN中，这样，其它的结点可以随时通过查询某个MPC的HBN获得其VPC的地址。z三级复制体系结构[4]三级复制体系结构由服务器级复制、空中复制、客户机缓存等三级复制机制组成。服务器级复制为第一级复制，这一级复制采用传统的复制技术，以保证服务器之间的一致性;空中复制为第二级复制，服务器将经常被访问的热点数据组织起来，通过MSS（MobileServerStation）向所有的MC（MobileClient）广播，这实际上等同于在无线信道上做了一级数据复制;客户机缓存为第三级复制，MC利用本身的处理及存贮能力缓存数据库中的部分数据，以支持移动用户的断接操作。z多版本冲突消解技术[5]多版本冲突消解技术需要在SDBS(ServerDBS)上保留数据通信对象的历次版本，并提供快照一级的事务隔离性。即在服务器上采用多版本并发控制机制。在服务器上的事务每次修改数据则产生新的数据版本，并将新版本保存在数据库服务器中，移动客户机离线时可以执行本地事务，保存事务日志。重新连接时服务器逐个根据事务的读集和写集等信息对移动客户端上的执行事务进行验证，若某一事务的写集插入到服务器数据的版本序列中不破坏快照隔离性，那么该事务即成功通过验证，并将写集送到数据库服务器，成为各数据版本序列之一，反之该事务不能在服务器上提交，需要在移动客户机上做回滚处理。由于多版本冲突消解方法可以在移动客户端上执行的事务结果直接施加到服务器上，而不需要在服务器上重做，因此减轻了服务器的负