PowerExchange简介及简明配置手册

1.PowerExchange概述PowerExchange实现了源数据的抽取、转换和过滤，并将处理后的数据提供给目标数据库，无需编程和落地。1.1.PowerExchange的抽取模式PowerExchange提供3种抽取模式：PowerExchangeBatch：用于数据源到目标之间的大批量数据迁移，适用于Unix、PC、MVS和AS/400数据格式的数据。PowerExchangeChange：用于从创建的压缩变更文件（condensedchangesfiles）中周期性地获取更新。PowerExchangeReal-time：从日志信息中直接捕获更新，实时性较高。对于Oracle的数据增量抽取，只能使用PowerExchangeReal-time。PowerExchangeChange和PowerExchangeReal-time只能捕获到所需的更新数据，将数据加载到目标数据库的任务需要由PowerCenter或其他第三方工具来完成。1.2.PowerExchangeReal-time架构PowerExchange采用的是Server/Client模式，在被监控的服务器上安装server（Listener），获取源数据的变更，在数据抽取服务器上安装client（Navigator），定义所要监控的数据。PowerExchangeReal-time由以下逻辑组件构成：PowerExchangeAdapter：源数据库适配器，不同的数据源或平台均有其独立的Adapter。PowerExchangeCAPXRTListener：安装在被监测数据库所在的主机上，实时从adapterdatastream读取数据。PowerExchangeNavigator：安装在客户端上，用其创建变更捕获注册信息，这些注册信息定义了用户需要实时监测的数据。CCTRegistrationDefinitionsFile：存储用户定义的注册信息。PowerExchangeListener：连接相应的CCTRegistrationDefinitionsFile。下图是PowerExchangeChangeCapture（PowerExchangeChange、PowerExchangeReal-time）的架构：上图中，1a：PowerExchangeReal-time(CAPXRT)根据用户定义的ChangeCaptureRegistration，捕获数据变化2a：PowerExchangeReal-time(CAPXRT)直接读取变更数据流，并将变更数据提供给数据处理工具，例如：PowerCenter。1b：PowerExchangeChange(CAPX)根据用户定义的ChangeCaptureRegistration，捕获数据变化2b：PowerExchangeChange(CAPX)读取压缩的变更数据文件，，并将变更数据提供给数据处理工具，例如：PowerCenter。1.3.PowerExchangeOracleCapture的工作原理PowerExchange捕获Oracle数据变更的工作原理，简要描述就是利用Oracle的LogMiner接口，从Oracle的RedoLog或ArchiveLog中分析出所有的DML（insert、update、delete等）语句以及一些必要的回滚SQL语句，并提供供外部应用（例如：PowerCenter）调用的接口以获取解析后的语句。1.4.PowerExchangeOracleCapture架构下图是PowerExchange的OracleCapture架构：下图描述了PowerExchangeChangeCaptureforOracle的数据流组件和控制流组件架构：上图中数据流组件的简述：1－UserApplication：改变Oracle数据库数据的用户应用程序2－OracleDatabase：变更数据所在的Oracle数据库3－OracleLog：OracleRedoLog是PowerExchangeOraclecapture流程的必要部分，被监测数据需要必须在ArchiveLog模式下运行4－LogMiner：OracleLogMiner读取RedoLog，使PowerExchange能够从指定的时间点抽取数据，这些时间点由OracleSCN（SystemChangeNumbers）分隔。5－UOWCleanser、CAPI：UOWCleanser（unitofworkcleanser）保证工作单元能够按照其提交的顺序被依次处理，同时去除回滚的事务；CAPI（theOracleConsumerAPI）连接PowerExchangeREGISTRATION，获取需要监测的表和列信息，然后连接Oracle和LogMiner，根据restartinformation确定应该返回哪些变更记录。6－PowerExchange：PowerExchange将获取到的数据传递给目标。2.PowerExchange安装配置2.1.操作系统需求Win2000、WinXP、AIX5.1andabove、Solaris2.7andabove、HPUX11andabove2.2.安装在数据抽取服务器和被监测数据库所在的主机上都需安装PowerExchange。执行安装程序的用户应至少拥有启动停止服务的操作系统权限。安装程序会在主机的dbmover.cfg配置文件中缺省添加本机节点node1。安装完成之后，可以启动并测试Listener，验证监听程序是否安装成功。启动方法：点击操作系统开始菜单中的“StartPowerExchangeListener”菜单项，启动成功后，屏幕右下角的操作托盘上出现图标。在命令行下执行命令：dtllstnode1。等待命令行下出现提示信息“PWX-00607Listenernode1VRM8.1.1BuildV811_B11started”，Listener即启动完毕。测试方法：点击操作系统开始菜单中的“PINGPowerExchangeListener”菜单项在命令行下执行命令：dtlrexeloc=node1prog=ping在执行上述操作之后，如果系统返回如下信息，则表示节点node1上的Listener已经启动：PWX-00750DTLREXEInputLOC=node1,PROG=PING,PARMS=null,UID=.PWX-00755DTLREXECommandOK!2.3.添加ODBC驱动如果需要使用ODBC获取PowerExchange返回的更新数据，则需要在操作系统中安装PowerExchangeODBCdriver，否则可省略本步骤。操作方法：在命令提示行下，执行dtlodbciadd。3.被监测数据库的配置3.1.被监测Oracle数据库的前提要求及配置Oracle版本：不能低于version9.2.0.3启用OracleSupplementalLogging必须配置OracleLogMiner复制Oraclecatalog到OracleRedoLog打开OracleArchivelog设置transaction_auditing参数为TRUE3.2.数据类型限制LogMiner和PowerExchange目前可以支持如下类型数据的捕获：CHARDATEFLOATNUMBERRAWTIMESTAMPVARCHAR2(withinPowerExchangelimits)目前不支持的数据类型为BFILE。4.注册被监测的数据源为使PowerExchangeCapture能够正确获取变更数据，必须规定捕获任务需要收集哪些表的变更信息。这项工作由注册过程来完成。注册过程包含如下任务：修改数据抽取服务器和被监控数据库服务器上的dbmover.cfg用PowerExchangeNavigator注册数据源设置捕获开始点设置PowerExchangeCapture注册的状态为“ACTIVE”重启PowerExchange捕获进程4.1.修改dbmover.cfg配置文件dbmover.cfg文件包含client与listener连接所需的通讯信息。PowerExchange安装完毕后，系统会在安装目录下自动生成一个缺省的dbmover.cfg文件。在监控Oracle数据之前，需要对该文件进行修改。4.1.1.修改被监测数据库主机上配置文件在被监测数据库所在的主机上，需在dbmover.cfg中配置ORACLEID和CAPI参数。1.ORACLEID配置语法如下所示：ORACLEID=(collection_id,oracle_sid,connect_string,capture_connect_string)其中，ORACLEID最大为20个字符。collection_id在注册捕获定义时会被引用，两者保持必须一致。oracle_sid：被监测数据库的数据库名connect_string：被监测数据库的服务名2.CAPI配置语法如下所示：CAPI_CONN_NAME=CAPIUOWCCAPI_CONNECTION=(NAME=CAPIUOWC,TYPE=(UOWC,CAPINAME=CAPIORA))CAPI_CONNECTION=(NAME=CAPIORA,TYPE=(ORCL,REPNODE=local,ORACOLL=Collection_id))其中，ORACOLL的参数值Collection_id应与ORACLEID中的Collection_id一致。4.1.2.修改Client端的配置文件在Client端主机的dbmover.cfg中增加被监测数据库节点，例如：NODE=(node73,TCPIP,192.168.11.73,2480)。其中，node73是节点名称，在注册捕获定义时需要引用该节点名称。192.168.11.73是被监测数据库所在主机的IP地址。2480是监听端口号。4.1.3.测试修改后的配置完成上述配置修改之后，在Client端的命令提示行下执行dtlrexeloc=节点名prog=ping，测试配置修改是否生效。其中，节点名即是在Client端配置文件中新添加的被监测数据库节点。4.2.在Navigator中设置ChangeCaptureDefinition设置ChangeCapureDefinition需要以下步骤：添加RegistrationGroup添加CaptureRegistration定义ExtractionGroup添加ExtractDefinition设置字段级的变更捕获测试定义好的ExtractDefinition4.2.1.添加RegistrationGroup进入PowerExchangeNavigator，选中【Resources】－【RegistrationGroups】节点，点击【Add】菜单的【RegistrationGroup】菜单项，打开AddRegistrationGroup对话框，如下图所示：配置信息描述：Name：RegistrationGroup的名称；Location下拉框中列出的是Client端配置文件中配置的所有节点，从中选择要监控的数据库所在的节点；Type下拉框：选择“Oracle”；UserID和Password：输入连接被监测数据库的用户名和密码，该用户需有查询数据库表V$PARAMETER的权限。Collection：必须与Listener端dbmover.cfg中的collection_id一致AddRegistration复选框：如果想在添加RegistrationGroup之后马上添加CaptureRegistration，则勾选复选框。如果清除复选框的勾选，“下一步”按钮会自动变为“完成”按钮。一个RegistrationGroup下可以有多个Capture