中航信Teradata数据仓库容量规划与扩容建议书

中国民航信息网络股份有限公司数据仓库系统容量规划与扩容建议书Teradata（中国）有限公司2008年11月文档信息客户姓名:中国民航信息网络股份有限公司项目:数据服务系统文档：数据服务系统容量规划与扩容建议书版本：发布日期:2008年11月编者:姓名公司项目职称日期批准:姓名公司项目职称日期本文件属保密资料i未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传目录1中航信数据服务系统目前状况...................................................................31.1数据服务产品、用户及使用................................................................31.2系统存在的问题.................................................................................41.2.1系统容量问题..............................................................................51.2.2系统性能问题..............................................................................62TERADATA数据服务系统解决方案建议...................................................82.1目前系统现况.....................................................................................82.2生产系统扩容方案..............................................................................92.2.15500C扩容方案........................................................................102.2.25550H扩容方案........................................................................112.3生产系统扩容方案总结.....................................................................132.4测试系统建议方案............................................................................152.4.1生产系统采用5500C时............................................................162.4.2生产系统采用5550H时............................................................162.5ETL服务器及备份服务器.................................................................173对中航信关心问题的回答........................................................................183.1就中航信目前系统，所能增加的系统节点的型号是什么，主要配置情况？所能增加的磁盘阵列的型号是什么，主要配置情况？..........................183.2系统扩容后，每个节点能够挂多大的存储（裸容量）？...................183.3磁盘阵列中为什么不推荐选用单盘容量更大的磁盘（如：146G/块），而选用单盘容量较小的磁盘（73G/块）？..................................................183.4从客户方角度考虑，RAID1和RAID5两种方式有什么本质区别？请从性能表现、投资等诸多方面综合比较。基于TRAVELSKY这个量级的数据规模，业界是否有已实施的案例，他们选择的是哪种数据保护方式？...................193.5为什么需要新增磁带库，而不对旧磁带库进行扩容？旧磁带库能否通过备份服务器与扩容后的新节点相连？.......................................................20本文件属保密资料ii未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传3.6生产系统未来扩展性如何？..............................................................203.7系统扩容过程中，哪部分工作耗时最长，哪部分工作风险最大？....213.7.1对于方案1................................................................................213.7.2对于方案2................................................................................214扩容后系统及应用建设规划.....................................................................234.1规划系统数据架构，优化系统性能...................................................234.2丰富BI工具，优化应用服务模式.....................................................244.2.1IT架构中固定报表服务架构的实现...........................................244.2.2IT架构中灵活报表服务架构的实现...........................................244.2.3IT架构中OLAP服务架构的实现..............................................254.2.4IT架构中通过分析团队提供特殊化服务的实现..........................254.3加强与用户的合作，丰富服务的内容...............................................264.4基于SLA的IT服务管理..................................................................26本文件属保密资料3未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传1中航信数据服务系统目前状况中航信数据服务系统于2001年2月开始建设，并于2005年进行二次扩容，目前中央数据库系统采用双节点的TERADATA4850及四节点TERADATA5380海量并行处理主机系统和Teradata数据库系统。总的磁盘容量为11056GB，其中包括80块36GB和112块73GB硬盘。按照现有生产系统Teradata版本的空间计算方法，考虑到RAID1保护、操作系统附加信息存储因素，数据库最大存储数据空间为(80*36+112*73)/2/1.093=5058GB，考虑Spool工作空间因素（数据库执行SQL命令时要占用数据库空间做运算），数据库最大可以容纳业务数据5058/1.45=3.5TB左右。中航信数据服务系统自2001年2月开始建设以来，已经过7年多时间，并已经进行了两个项目周期的建设（2001年2月～2001年7月，2003年1月～2004年1月）。1.1数据服务产品、用户及使用中航信目前已在数据服务系统上开发和上线了以下数据服务产品。航线运营分析航线舱位分析航线订座成长和趋势分析机型分析代码共享航线分析代理人销售分析代理人销售实际贡献分析代理人销售订座分析代理人销售款分析O&D分析国际O&D分析国内O&D分析地区O&D分析GATEWAY分析第六航权分析航班频率分析HUB分析离港和配载统计分析值机分析配载分析本文件属保密资料4未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传客户资源分析常客分析团队分析数据产品MIDTBIDTTCN这些数据服务及其产品已经有许多用户（航空公司、代理人、机场和内部用户）在使用。例如：国内航空公司外国航空公司代理人机场凯亚和分公司国际航空公司ACTCN账单下载（400个）首都机场华东凯亚南方航空公司AFBSP直通车（100个）广州机场广州分公司深圳航空公司CX深圳机场深圳凯亚海南航空公司JL成都机场云南凯亚上海航空公司KA沈阳机场成都凯亚厦门航空公司KE东北凯亚四川航空公司NH航信服务台澳门航空公司NW民航总局SQUAVS可以看出，中航信的数据服务系统正在为中航信带来越来越多的战略价值和商业价值。1.2系统存在的问题在数据服务系统为中航信的用户提供所需的产品和服务、并为中航信带来效益的同时，目前中央数据库系统存在的容量和性能问题对中航信造成很大影响，制约了中航信数据服务战略的实现。本文件属保密资料5未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传1.2.1系统容量问题中航信数据服务系统的数据源目前已包括;订座PNR数据订座航班时刻与收益数据票务数据离港数据常旅客数据航意险数据OAG数据MCT数据运价数据酒店数据设备信息数据其他相关静态信息数据按照中航信最新统计数据估算，系统2008年的基础数据量达到4.7TB，如下表：A.每年基础数据存储周期应用数据总量（截至2008年底）应用数据总量（截至2009年底）应用数据总量（截至2010年底）数据内容2007年2008年2009年2010年(月)（GB）（GB）（GB）(GB/年)(GB/年)(GB/年)(GB/年)PNR110015002047279213159221722963DCS14018324031436407563737TKT4305727621014136088101078INV80010561394184013112314821956小计2470331244435960373050276734B.汇总数据存储周期应用数据总量（截至2008年底）应用数据总量（截至2009年底）应用数据总量（截至2010年底）数据内容2007年2008年2009年2010年(月)（GB）（GB）（GB）(GB/年)(GB/年)(GB/年)(GB/年)sum(d)540727978131636174723543021sum(m)9012417123760416532702bidt3004386409353795513952038本文件属保密资料6未经中国民航信息网络股份有限公司和Teradata(中国)有限公司的书面许可，不得翻印或外传midt709813719224168235329小计1000138719262680328645166090另外，各航空公司等用户需要的数据，随着系统数据量增加，加工的时间越来越长，为保证数据提供的速度，系统中PNR只保存不到2个月的数据，这反过来又影响了统计分析类数据服务，影响了系统价值的发挥。通常一些非常