油田数字资产集中存储与管理技术交流

油田数字资产集中存储与管理北京东晨利能科技发展有限公司DCC曲凤山副总经理/技术总监Tel:010-62381041-10513910828276E-mail:[e-mail]技术交流DCC技术交流内容1、北京东晨利能科技发展有限公司介绍2、油田数字资产集中存储与管理整体建设需求分析3、目前存储技术介绍4、油田数字资产集中存储与管理整体解决方案与技术关键5、存储产品与技术性能介绍6、问题与解答第二部分：需求分析DCC第二部分：油田数字资产集中存储与管理整体建设需求分析1、我国石油数字资产现状2、面临问题3、解决这些问题的技术4、技术需求分析第二部分：需求分析DCC1、我国石油数字资产现状©数据类型丰富多样、复杂---勘探地震数据、开发数据、测井数据---地面工程数据---油藏数据---井口生产数据---信息综合数据（电子邮件、文件等）---财务数据---炼油与销售数据©存储分散、管理难度大---各种信息存放不同应用的前端计算机系统内，存在信息孤岛---管理分散、管理费用昂贵©数据没有被充分共享---数据共享难---数据挖掘与分析应用难©数据安全性差---备份与恢复费用昂贵---数据不能集中保护©数据管理平台不统一----Oracle、Sybase----图形文件、文本文件第二部分：需求分析DCC2、油田数字资产管理面临的问题★数据量剧烈膨胀，管理越来越难---互连网不断向企业的经营与管理渗透---油田生产与管理技术不断更新、许多新技术借助数据---电子商务、交易广泛使用---相关行业数字化应用影响★数据资产保护越来越重要---数据在油田生产和经营的作用越来越重要---目前安全保护模式不系统化、科学化---没有策略化、自动的备份与恢复措施---关键系统应用没有容灾★数据存储与管理不适应油田数字化发展，影响企业的竞争力---数据分散存储在数以万计的各种计算机系统、管理复杂、费用昂贵---数据不能集中保护、有些数据的丢失可能造成灾难性的破坏---数据不能被企业科学、高效的共享、影响企业的对各种数据的分析与决策数据管理数据共享数据保护第二部分：需求分析DCC3、目前解决这些问题存在的技术★构建以数据中心为核心、以多级存储为结构的数据存储架构---数据中心采用SAN、二级或三级存储中心采用NAS的数据整体存储结构---实现SAN、NAS与现有系统有机整合★采用自动化备份与容灾技术实现对数据的保护---自动、策略化的备份/恢复技术---远程异地同步、异步容灾技术---数据快照与快照恢复技术---冗于技术、RAID技术★数据共享与数据挖掘---基于GIS等应用的数据共享---各种数据挖掘、数据分析、决策支持技术★数据集中管理技术SANNASDASISCSI第二部分：需求分析DCC3、技术上的需求与可行性SANNASDASISCSI1、数据集中存储与管理体系结构•分级集中存储与管理，构建全油田的数据中心和二级单位的数据中心。数据中心：全油田数据的集中存储、集中管理、合理共享、集中备份、容灾二级数据中心：负责集中存储各二级单位的数据、厂级数据共享、挖掘二级数据中心的部分数据复制到数据中心，数据中心与二级中心互为备份2、业界成熟的存储技术，多种技术整合满足不同需求SAN、NAS、DAS、备份与恢复、容灾、数据保护3、基于Oracle/Sybase为底层的数据管理解决油田各种数据格式的存储与业界各种数据存储技术有效整合4、多种数据安全技术保证数据的有效使用Zonning技术卷保护专用内核与文件系统DCC第三部分目前存储技术介绍第三部分：存储技术介绍★DAS、SAN、NAS技术★备份/恢复技术★容灾技术★数据安全与保护技术---Zonning---卷管理---快照与恢复---网络安全★数据集中管理技术★数据共享技术DCC第三部分：存储技术介绍DAS、NAS、SAN网络和文件系统的位置定义了三种存储架构：DAS：DirectAttachedStorageSAN:StorageAreaNetworkNAS:NetworkAttachedStorageDCCDAS技术：（1）网络出现前的存储方式（2）应用定位：低端环境---办公环境、提供系统驱动高端环境---大量的磁盘阵列直联于主机，为I/O密集的应用提供可接受的性能（3）扩展不容易、应用停机、分散不易管理SCSI、FC-AL网络第三部分：存储技术介绍DAS、NAS、SAN厂商：各种服务器磁盘生产商DCCNAS●瘦服务器，主要功能文件共享和数据管理，客户端利用LAN共享数据●主要应用是文件分发、代码共享、小数据块的I/O。面向文件I/O应用●使用简单、实施容易、异构平台文件共享、集中数据管理与存储●千兆网作为通路支持●支持距离长，适合前端系统到中心的数据存储●自动、策略化备份使用专用软件利用NDMP协议完成占用LAN带宽LAN性能影响NAS性能网络文件系统支持（NFS、CIFS）第三部分：存储技术介绍DAS、NAS、SAN非常适合油田以采油厂为中心的二级存储系统DCC第三部分：存储技术介绍DAS、NAS、SAN◆专业NAS：◎具有专用的内核、文件系统◎优化设计、专用于数据I/O、性能优越◎拥有多种技术对数据进行全方位保护◎能广泛与业界各种技术进行整合◎支持多种业界标准◆非专业NAS：◎利用服务器与盘阵采用DAS技术连接的NAS◎通用内核与文件系统◎设计不优化、性能不好◎数据不安全NAS产品：厂家：NetWorkApplianceF800EMCIP4700IBM：NAS300SGI：NASHP：NAS如何选择NAS产品●根据不同的数据量、数据安全重要性选择NAS专业NAS、非专业NAS专业NAS特性：专用OS、文件系统----性能优化、数据安全管理软件丰富----方便、快速、维护简单数据保护软件----快照与恢复功能、容灾功能保证数据安全高可用性----冗于设计、热交换、路径自动切换、RAID高性能----高速数据通路、快速的数据读写、快速的启动与恢复技术成熟、应用广泛、与多种数据库、电子商务产品兼容支持多种协议、文件共享、支持带库备份非专业NAS：通用OS和文件系统----性能和安全不好管理与应用软件性能不好、维护复杂第三部分：存储技术介绍DCCSAN★为存储和服务器之间提供高速的数据通路★延迟低、性能连续稳定、规模可扩★将多种接口的存储整合在一起★提供存储池，实现存储的集中管理★策略化、LAN-FREE的数据备份与恢复★FC协议，构建存储网络*实施复杂、技术新*费用高*互连性应用：面向块I/O大数据中心数据集中管理高性能应用连续性的应用第三部分：存储技术介绍DAS、NAS、SAN非常适合大数据中心建设DCC第三部分：存储技术介绍DAS、NAS、SAN构建SAN高性能：光交换机（1GB/2GB）、磁盘阵列、HBARouter、服务器、外网等达到整体性能最优高可靠：冗于、热交换、双机容错、路径冗于数据安全：RAID保护、HotSpare、Zonning、备份与容灾价格：性价比、与目前现有设备的整合、TCO互连性：所有设备互连集中管理：智能管理、界面丰富、能管理整个存储系统数据使用：生产与数据分析并行、共享稳定性：整体系统运行稳定、技术成熟、先进存储整合：与现有系统的有机整合，保护投资DCCSAN的组成1、FC协议的光交换机1Gb/sor2Gb/sSANFC-ALSWFC-SWBrocadeVixelMcData2、磁盘阵列全光纤SCSISTK、EMC、HDSIBM、SUN、HP3、应用服务器群性能、价格应用兼容体系结构扩展能力SUN、IBM、SUN、DELL4、备份与恢复软件（Veritas、Legato)磁带库（STK）容量磁带机5、其他主机接口卡HBARouterCablesHUB各种数据管理、数据共享、保护等软件第三部分：存储技术介绍DCC◎评估项目的需求并量化（容量、主机数量、软件应用状况）◎划分关键应用和非关键应用数据◎目前运行环境状况（服务器、存储设备、连接、软件运行）◎数据安全保护级别（在线保护、离线保护、设备的可靠性）◎功能规划：容灾、备份◎设计存储结构（SAN、NAS、SAN+NAS）◎资金状况●设计必须采购的设备与软件规格和型号●形成采购的技术指标并采购☆设备的到货、场地准备、技术培训☆安装与调试☆验收☆设备保修、升级服务☆技术的连续性SAN设计与项目规划第三部分：存储技术介绍DCCSAN与NAS的结合方式一：性能不损数据共享管理分开优势互补适应数据处理与解释TCP/IPDiskArrayNASEngineFC方式二：性能受损数据共享NAS瓶颈影响SAN性能适应小数据块的连机交易与数据挖掘安全隐患第三部分：存储技术介绍方式三：NAS与SAN融于一个存储设备即提供NAS接口和服务，有提供SAN接口性能优化、管理简单NetWorkerApplianceStorageTekDiskArrayFCDCC第三部分：存储技术介绍1、数据备份与恢复必要性●离线数据保护●保存时间长2、备份与恢复技术要求●自动化、无人职守●策略化、支持增量、全部等多种备份机智●界面简单、管理容易、集中管理●LAN-Free、Server-Less●多任务、多驱动器并行●备份时窗●策略化的恢复●基于专用应用的备份（ORACLE、Sybase等）3、备份与恢复系统使用的软、硬件●自动带库系统---STK----TapeDriver:LTO、DLT●备份服务器●专用备份软件：Veritas、Legato、Tivoli、HP/Omniback、CASTK磁带库数据备份与恢复技术Veritas-NetbackupServer-TapeDrivesupportxnVeritasClientLANPS楼层服务器3楼层服务器1四楼SCSI盘阵2楼层服务器2主服务器光纤连接双绞线连接SCSI连接VeritasClientVeritasClientVeritasClientVeritasClient楼层服务器1DCC第三部分：存储技术介绍数据备份与恢复技术LANAdministratorSANStorageAreaNetworkSAN备份与恢复技术LAN-FreeServer-LessTier分层集中管理DCC第三部分：存储技术介绍容灾技术1、容灾应用---数据与应用安全级别最高保护容灾规模：●数据容灾----只是将数据与容灾中心进行镜像适合数据非常重要、应用可以在规定时间内恢复的应用（石油）●应用容灾----将数据和具体的应用与远程数据中心进行镜像。适合高可靠性的应用，银行、证券、电信、民航容灾方式：●异地同步----数据中心与容灾中心数据完全一致、影响数据中心的应用性能。●异地异步----数据中心与容灾中心的数据镜像有时间差，数据中心的应用不用等容灾中心镜像成功就继续进行下一步工作。对性能影响不大。容灾线路：●专线---在数据中心与容灾中心铺设专用的光纤通路●利用行业专用网络（石油专网、局域网络）●卫星等专用线路DCC第三部分：存储技术介绍容灾技术2、容灾实现●专业容灾软件Veritas:VVRLegato:ReplistorEMC:SRDFIBM:PPRCHDS:HRCcompaq:ReplicatorSUN:SNDRNetApp:SyncMirror(同步）SnapMirror(异步）SourceTargetSRDFlinks第三部分：存储技术介绍数据安全与保护技术●SANZonning技术（Port)●LUNManager(LUN)●RAID●SnapShotandSnapRestore●网络安全技术●加密技术EMCED-1032“NT”FA1A“Sun”FA2ANT“AIX”FA1BAIXAIX“AIX”FA2BDetermineswhichhosts“see”whichFAportAllowsforheterogeneousconnectivity-byHBAFAportscurrentlyset-uphomogeneouslyZonning第三部分：存储技术介绍数据安全与保护技术Zonn