MDB维护手册V11

AIMDB维护手册V1.12012年10月亚信联创科技(成都)有限公司AIMDB维护手册总览MDB文件恢复维护。MDB内存管理机制以及维护MDBCheckPoint机制说明。亚信MDB简介。MDB异常情况下维护说明。MDB各个模块架构。数据库基本功能•平台支持：–支持AIX的各个操作系统版本。–支持HP-UX的各个操作系统版本。–支持Solaris的各个操作系统版本。•数据类型–支持基本数据类型：char、short、long、longlong、float、double。–定长数据：表的每条记录都是定长的。•索引、主键–使用HASH索引，索引字段个数无限制，支持组合索引，支持主键。•sql语法–支持单表的查询、插入、删除、更新、事务提交、回滚等基本sql语法。•其他–支持基于游标的访问。数据库工具•命令行查看工具–提供命令行工具，可以对MDB进行查询、更新、删除MDB表的数据。同时支持在线导入导出MDB数据，MDB表内存数据的同步等功能。•数据导入导出–支持内存数据库全量或者部分导出到文本文件或者磁盘数据库中。支持从文本文件或者磁盘数据库导入数据到MDB中。•表空间修改–支持对MDB表的表空间进行扩展。•Redo日志查看–通过该工具可以将二进制的redo日志转换可以查看的文本文件，方便分析。•数据同步–支持将MDB内存单个或者多个表dump到对应磁盘文件中。•模式更改–可以在线更改MDB运行的模式。例如文件HA异步模式改成文件HA同步模式等。数据库性能•数据访问响应时间–和具体的主机配置、磁盘IO等相关，参考数据：IBMAIX5.3CPU4个双核CPU32G内存，MDB数据库中100W数据：11.4w/s的数据插入效率。8.5w/s的数据更新效率。•数据装载性能–同具体的主机配置、磁盘IO等相关，参考数据：HPRX8640，CPU32*1.6G，128G内存，平均加载速度110M/秒。•Redo恢复效率–平均每秒8w次事务的恢复速度。参考数据：Sun环境，192G内存，24个双核CPU下恢复速度为每秒10.8w次。安全机制•增量Redo日志–内存数据库支持文件方式的增量Redo日志模式，一旦MDB服务程序出现异常，再次启动的时候直接恢复增量Redo日志中的数据，以保证MDB数据的一致性和快速恢复。•定时全量备份–内存数据库在停止运行时进行全量备份。–系统同时支持定时写全量备份。–内存数据库定时全量备份，可以保证业务完全持久化。异常信息收集机制•启动异常–配置文件参数遗漏、读写MDB文件没有权限、MDB内存不足等异常•更新时的resize异常–resize异常是由于表记录数已满，需要扩充空间，而系统的内存又不足导致的，此时将不能对这个表有新的增加记录操作，必须等到系统有足够的内存，重新resize成功•同步文件异常–如果同步失败，抛出同步失败的异常信息。•网络异常–网络发送失败，当发送失败后，MDB会主动中断这个socket连接，客户端需要重新连接–客户端网络终端产生sigpipe异常信号，为防止这个信号对MDB产生中断，MDB屏蔽了该信号的处理•信号处理–为了使MDB不丢失异常数据，屏蔽了部分信号，只开放了SIGKILL、SIGSTOP、SIGTRAP、SIGUSR1、SIGUSR2信号对外接口•标准C接口（API）–亚信MDB是面向应用程序的数据库，使用应用程序的类信息来构建数据库的表，每一个数据库中要使用的每个C++类或结构，都要包含一个描述它们字段的特殊方法，MDB为此提供了一系列的宏来构造字段描述符。MDB为从数据库中提取和更新数据提供了一系列灵活而方便的接口。这些都大大简化了数据库应用程序的设计，并且使得它们更加高效。MDB应用整体逻辑架构业务接口层系统管理HA机制AIMDB层守护线程并发管理恢复处理HA机制事务管理数据管理数据持久保存日志发送系统监控文件管理Redo日志文件内存数据映像文件日志接收业务数据访问1业务数据访问2业务数据访问n接口应用层业务处理IPC通讯TCP通讯鉴权管理访问管理并发管理•客户端控制–通过配置客户端连接数限制，可以限制客户端同时连接MDB的个数。MDB默认最低256，最高4096–保存连接MDB的客户端的IP、端口、连接时间、退出时间等信息备查。•并发锁控制–记录锁•MDB记录锁类似于行锁，支持对MDB表中的记录的关键字加锁，防止该关键字相等的记录进行并发操作。提高程序的准确性和安全性。–进程锁•进程锁是控制MDB整个进程的锁，在MDB作内存数据备份点的时候，需要加上进程锁，阻止此时发生的业务交易。–锁检测•为了防止上面两种锁造成的死锁，提供了锁检测工具，支持对记录锁和进程锁超时情况查询，并提供解锁服务。事务管理•支持事务的提交–应用程序每次事务的提交，MDB数据库将该次事务对MDB的所有更新信息写入Redo日志。•支持事务的回滚–应用程序每次事务的回滚，MDB数据库回退该应用程序事务开始到回滚之间的数据库操作。数据管理•MDB数据持久化保存–MDB每次停止时，将内存中所有数据同步到内存映像文件中。–MDB支持通过客户端工具将MDB中的一个或者多个表的内存数据同步到各个表对应的内存映像文件中。–系统同时支持定时写全量备份，保证业务完全持久化。•MDB数据导入导出–支持将MDB表中的数据全量或者部分导出到磁盘数据库中。同时支持从磁盘数据库中导入MDB表数据。–支持将MDB表中的数据全量或者部分导出到文本文件中。同时支持从文本文件导入MDB表数据。–支持加载sql执行脚本方式对MDB内存数据进行维护。HA机制•HA机制–内存数据库支持文件HA以及双机HA机制。–文件HA•MDB数据交易的事务Redo日志记录保存到磁盘文件。恢复时加载内存映像文件，重做Redo日志事务即可恢复。•文件HA支持同步、异步写Redo日志两种模式的MDB运行方式。–双机HA•MDB数据交易的事务Redi日志直接通过socket方式发送给备机，备机重做redo日志实现MDB交易数据的实时恢复。•双机HA支持同步、异步、半同步发送/接收恢复Redo日志的MDB运行方式。HA应用主用MDB事务处理Logfiles事务日志Table1TableNTable2…备用MDBTable1TableNTable2…REDO处理日志发送DatafilesDatafileDatafilesDatafile异步双机本机日志同步双机同步双机文件HA•文件HA功能概述文件HA特点：Redo日志磁盘文件形式保存。MDB文件HA模式下，备机支持加载离线MDB内存映像文件，并循环读取增量Redo日志并恢复的方式进行MDB数据的恢复。•文件HA部署说明–物理上可以只有一台主机主机运行MDB,也可以部署一台备MDB，备MDB通过磁盘共享、ftp传输等方式实时恢复从主MDB同步过来的redo日志来实现类双机HA方式的数据恢复。–根据MDB的配置文件，把MDB按文件HA的方式进行启动MDB基础库MDB应用MDB应用MDB基础库Redo日志数据Redo日志数据MDB主机MDB备机客户端业务数据包磁盘共享、FTPRedo日志重做双机HA•双机HA功能概述对MDB中的内存操作数据进行实时的数据备份，保证业务交易数据的安全性；同时在异常情况下，最大限度的缩短业务数据的恢复时间，保证计费业务的稳定性•双机HA部署说明–要求物理上有两台主机通过网络进行连接组合–根据MDB的配置文件，把MDB按ACTIVE/STANDBY的HA方式进行启动MDB基础库MDB应用MDB应用MDB基础库Redo日志数据Redo日志数据MDB主机MDB备机客户端业务数据包守护线程SocketHA数据交互Redo日志重做部署方式-运行模式说明•MDB基础库运行模式启动模式logmodeHA方式说明0ACTIVE单节点不产生Redo日志运行的模式1ACTIVE单节点redo日志同步写文件模式运行2ACTIVE节点redo日志同步Socket发送模式运行3ACTIVE单节点redo日志异步写文件模式运行4ACTIVE节点redo日志异步Socket发送模式运行5STANDBY节点读取文件redo日志恢复模式运行6STANDBY节点Socket接收模式2或4的redo日志并恢复的模式7打印Redo日志内容成文本内容到.disp文件中•运行模式性能比较–模式0模式3模式4模式1模式2;模式2跟模式0之间性能差异10%提纲MDB文件恢复维护。MDB内存管理机制以及维护MDBCheckPoint机制说明。亚信MDB简介。MDB异常情况下维护说明。MDB各个模块架构。MDB整体应用架构MDB框架MDB基础库MDB业务库MDB查询代理1MDB查询代理2MDB直连客户端MDB客户端维护工具MDB客户端MDB客户端MDB客户端加载打开、关闭、同步等MDB直连客户端MDB维护工具MDB文件查看、MDB内存映象文件数据导入导出、redo日志查看MDB文件表空间修改等查询、更新、删除等业务交易处理业务交易处理业务交易处理MDB数据查询、同步、导出、停止等维护业务交易处理业务交易处理业务交易数据发送接收业务交易数据发送接收MDB核心库-功能描述MDB核心库MDB核心库具有高可用性，高实时性能和方便的C++接口，能实现快速的增删改查操作。MDB核心库支持事务、在线备份、双机热备和系统崩溃之后的自动恢复。事务提交基于MDBHA机制，对数据库执行原子更新操作，恢复操作执行起来非常快，给关键应用程序提供了高效率。MDB的双机备份是在两台主机之间进行数据的同步，采用SOCKET的方式进行数据交互，支持根据DNS进行切换。MDB核心库使用应用程序的类信息来构建数据库的表，每一个数据库中要使用的每个C++类或结构，都要包含一个描述它们字段的特殊方法，MDB为此提供了一系列的宏来构造字段描述符。MDB为从数据库中提取和更新数据提供了一系列灵活而方便的接口。这些都大大简化了数据库应用程序的设计，并且使得它们更加高效。MDB核心库有着强大的异常处理机制，MDB几乎为每个操作都提供了的异常信息，包括MDB打开，关闭错误，初始化MDB配置信息错误，内存分配失败等异常信息，供客户端应用程序方便地检测MDB应用上出现的异常。MDB服务框架-功能描述管理MDB表、打开MDB、关闭MDB管理与客户端通讯的socket、共享内存、信号等响应客户端消息处理逻辑管理MDB业务库，支持动态的加载业务库，卸载业务库等为MDB业务库提供基本的数据，并对数据做初始化，提供接口给业务库查询和更新这些数据提供用户锁和进程锁资源，提供锁操作接口，并监控用户锁的超时信息，在线程退出时自动清除此线程占用的锁。MDB服务框架功能点MDB框架实现业务库外的MDB统一管理，衔接客户端应用和服务程序，负责与客户端的通讯管理，提供基础的接口供MDB业务库和MDB框架通讯。实现MDB的基础框架和业务库的分离。框架独立于业务逻辑，增加其复用性，通过接口能适配任何符合接口的MDB业务库，并提供动态加载和卸载MDB业务库的功能，能实现无缝的加载和卸载。MDB业务库-功能描述•注册支持的消息和业务类型，接受客户端的应答请求，对请求包做校验，响应业务库的业务请求，并做应答。一个业务库在物理实现上是一个动态库。•根据交易协议，将客户端发送的交易数据包分析出来，并执行相应的MDB表数据的查询、更新、新增、删除等功能，并对数据集结果打包，由MDB框架通过socket通讯返回给客户端。•每天对MDB进行一次数据的全量备份，增强MDB的安全性。更新MDB表数据封装客户端业务逻辑MDB查询代理-功能描述•接受、分摊、管理应用客户端申请的连接请求MDB查询代理•管理与MDB框架之间连接、支持连接复用、异步通讯、消息重发和超时机制；•接收MDB返回的交易数据包，并分发给应用客户端•接收应用请求的数据，对应用请求的数据进行分发•提供MDB客户端维护工具维护通讯接口MDB维护工具命令行查看工具提供命令行工具，可以对MDB进行查询、更新、删除MDB表的数据。同时支持在线导入导出MDB数据，MD