IDS 11 数据压缩和存储优化

IBMSoftwareGroup®©IBMCorporation2009IBMIBMInformInformixixDynamicServerDynamicServer(IDS)(IDS)IDS11IDS11数据压缩和存储优化数据压缩和存储优化*从11.50.xC4版本开始IDS具有该特性IBMSoftwareGroup|IBMDataManagementSoftware2©IBMCorporation2009§不断增加的存储成本§什么是IDS压缩§管理议程IBMSoftwareGroup|IBMDataManagementSoftware3©IBMCorporation2009当前信息技术存储趋势存储硬件占信息技术预算的百分比正在不断的增加。备份和恢复在花销中处于第二重要的位置。。。存储问题是使首席信息官们夜不能寐的首要问题2007年全球的数据中心在电力和冷却上的花费约等于在服务器上的花费到2008年底全世界一半的数据中心将面临严重的电力短缺■82%在本季度没有存储开销方面的预算■28%看到在数据存储上的电力消耗增加了50%■存储的复合年增长率是两位数的IBMSoftwareGroup|IBMDataManagementSoftware4©IBMCorporation2009真实世界里存储费用的例子§假设存储的收费标准是每月每8G字节25美元§假设10T字节的数据被用于数据库、备份、数据复制站点等§每年的数据存储费用=375千美元§如果存储优化特性可以节省40%的存储空间，每年您将节省150千美元(10TB/8GB)*25美元*12月=375千美元每年IBMSoftwareGroup|IBMDataManagementSoftware5©IBMCorporation2009§不断增加的存储成本§什么是IDS压缩§管理议程IBMSoftwareGroup|IBMDataManagementSoftware6©IBMCorporation2009行(row)压缩概念§压缩算法在整个数据表(table)中寻找重复的模式(pattern)4当模式被找到时，字符串被一个12比特(bit)的符号替代4符号被存储于一个数据字典中以供快速查找§在数据页(page)中数据是被压缩的(不管是在硬盘上还是在缓冲池里)4显著的节省了输入输出的带宽–更好的性能4显著地节省了内存空间–更有效的内存使用4一些中央处理器(CPU)的额外开销•行(row)数据被处理前必须先被解压缩IBMSoftwareGroup|IBMDataManagementSoftware7©IBMCorporation2009使用压缩数据字典(dictionary)对数据行(row)进行压缩§数据字典包含表里数据行的重复出现的信息4压缩的候选对象可跨越列(column)的边界或在列里6157NE132Z165-3132580TSNCPRPLT6157NE132Z165-3200220JANCPRPLTAisleBinLocLotNumQuantitySPartPartCodeDictionaryZ165-3NE132615702……NCPRPLT016157SNCPRPLT580T132Z165-3NE132…6157NE132Z165-3200220JANCPRPLTS(01)580T132(02)(02)…200220JA(01)IBMSoftwareGroup|IBMDataManagementSoftware8©IBMCorporation2009节省存储空间§可被压缩的表格被压缩后通常能节省60%到80%的空间§整个数据库的存储空间将被节省40%到50%§这意味着只要50%的磁盘空间就能够支持IDS11数据库!81%Smaller78%SmallerSalesTableProductTableIBMSoftwareGroup|IBMDataManagementSoftware9©IBMCorporation2009性能上的收益§使用压缩后性能可被改进§有了压缩后很多查询将因为更少的I/O而受益§消耗更多的中央处理器(CPU)资源–绝大多数的用户并不一直消耗100%的CPU资源4实验室测试结果显示输入输出吞吐量改进了30-40%§很多utility(例如备份和恢复)将变得更快4在一些案例中可达到原来2倍的速度，因为现在数据库只有原来的一半那么大40%FasterIBMSoftwareGroup|IBMDataManagementSoftware10©IBMCorporation2009对数据表进行压缩未压缩的数据表可被重新使用的数据页repack(整合空间)§当数据未被压缩时，也可使用repack(整合空间)和shrink(归还空间)§repack和shrink相互独立§Shrink不隐式的执行repack多个数据页shrink(归还空间)已压缩的数据表数据数据数据字典IBMSoftwareGroup|IBMDataManagementSoftware11©IBMCorporation2009压缩操作(1)§create_dictionary4创建压缩字典4之后插入或修改的数据行(row)将被压缩4之前已经存在的行(row)不被压缩§compress4如果字典不存在的话将自动执行create_dictionary4压缩所有已经存在的行(row)4在压缩期间数据表可被其它查询使用§estimate_compression4预测一个新的数据字典可以达到的压缩比率4如果已经被压缩了，可预测当前的压缩比率(如未被压缩则为0)4还可以显示使用新的数据字典后压缩比率提高了多少(第一个预测和第二个预测之差)IBMSoftwareGroup|IBMDataManagementSoftware12©IBMCorporation2009压缩操作(2)§uncompress,uncompress_offline4解压缩数据表(table)和分片(fragment)中的每一行4将压缩字典变得无效4“uncompress”–其它查询可存取数据4“uncompress_offline”–数据表被X锁锁住了，其它查询不能存取数据§purge_dictionary4删除旧的不再使用的数据字典4单独的命令(因为ER、DataMirror可能需要旧的数据字典)IBMSoftwareGroup|IBMDataManagementSoftware13©IBMCorporation2009存储优化操作§repack,repack_offline4在数据表(table)或分片(fragment)内部移动数据行(row)，从而将未被使用的空间整合到数据表(table)或分片(fragment)的尾部4“repack”–数据表可被存取4“repack_offline”–数据表被X锁锁定，不能进行存取操作§shrink4将数据表(table)或分片(fragment)尾部未被使用的空间返回给数据库空间(dbspace)4通常在运行repack后运行IBMSoftwareGroup|IBMDataManagementSoftware14©IBMCorporation2009不能被压缩的对象§不以行(row)形式存储的数据(例如blobs)§索引§临时表§Catalog表§DictionaryPartitions§在下列数据库中的表:4Sysmaster4Sysutils4Sysuser4Syscdr4Syscdcv1IBMSoftwareGroup|IBMDataManagementSoftware15©IBMCorporation2009HDR,ER,CDC(DataMirror)与压缩§HDR、ER、CDC都支持压缩的数据表(table)§HDR4在次节点(seconary)上压缩数据表当且仅当这些数据表在主节点(primary)上被压缩§ER4源节点和目标节点的压缩状态是独立的，用户可进行配置§CDC4目标节点的压缩取决于目标节点的数据库支持的特性和用户的配置IBMSoftwareGroup|IBMDataManagementSoftware16©IBMCorporation2009§不断增加的存储成本§什么是IDS压缩§管理议程IBMSoftwareGroup|IBMDataManagementSoftware17©IBMCorporation2009AdminAPI(管理应用编程接口)§所有的压缩和存储优化操作都可通过IDSAdminAPI内建的用户定义例程(UDR)调用4executefunctiontask(…);4executefunctionadmin(…);4示例•executefunctiontask(“tablecompressrepackshrink”,“table_name”,“database_name”,“owner_name”);§OAT提供了用于压缩的图形化界面§OAT支持远程执行(数据库管理员不用直接登录到目标机器上)IBMSoftwareGroup|IBMDataManagementSoftware18©IBMCorporation2009开放管理工具(OpenAdminTool)的接口IBMSoftwareGroup|IBMDataManagementSoftware19©IBMCorporation2009开放管理工具(OpenAdminTool)的接口IBMSoftwareGroup|IBMDataManagementSoftware20©IBMCorporation2009开放管理工具(OpenAdminTool)的接口IBMSoftwareGroup|IBMDataManagementSoftware21©IBMCorporation2009自动压缩IBMSoftwareGroup|IBMDataManagementSoftware22©IBMCorporation2009外部的压缩预测工具IBMSoftwareGroup|IBMDataManagementSoftware23©IBMCorporation2009总结§通过IDS11的压缩功能进行的存储优化可以为您节省40-50%的空间§对于存取大量数据的负载，压缩还改进了性能§您不仅看到您在线的数据库使用的存储空间变少了，更经常的，您还看到您用于备份和灾难恢复的存储空间被节省了一半§在实际客户案例中，存储空间的节省被实现了，性能上的收益也是明显的§另外，Utility的执行时间也被节省了(特别是数据库备份和恢复时间被节省了一半)。因此您可以看到IDS11的压缩有很多的好处。IBMSoftwareGroup|IBMDataManagementSoftware24©IBMCorporation2009IBMSoftwareGroup|IBMDataManagementSoftware25©IBMCorporation2009