MicrosoftPowerPoint-iRODS培训

数据网格管理与服务系统（iRODS）中国科学院计算机网络信息中心2009-6-17提纲{背景{功能{使用{应用案例背景{背景当今社会中，信息正以超乎人们想像的速度增长，从而导致信息资源管理能力的严重不足。由于因特网中存在大量相互独立的信息数据孤岛，它们之间的数据资源不能共享，存储空间不能得到有效使用，数据的传输性能不足，数据的表示和存储的方式与位置也各不相同。如何有效地存储、分发、组织管理以及如何高性能地处理、分析和挖掘海量分布式的异构数据成为许多应用的首要问题。开发团队{iRODS：IntegratedRuleOrientedDataSystem,目标是为用户提供一个灵活的，可定制的网格数据管理平台，是一个自适应的中间件，目前主要是侧重于文件型数据的管理。{由美国数据密集网络环境组织（DICE）ReaganMoore领导的团队，通过10多年的研究开发，形成的一个数据网格中间件系统。iRODS是2006年开始由SRB发展而来的。73发展历程：{2006年12月发布了0.5版2007年6月发布了0.9版2008年1月发布了1.0版。2009年1月发布了2.0.1版。该项目目前得到NSFSDCI和USNationalArchivesandRecordsAdministration的支持，同时参与该项目的国际合作伙伴包括：ztheFrenchInstitutNationaldePhysiqueNucléaireetdePhysiquedesParticules(IN2P3)－法国国家核物理与粒子物理研究院ztheUKe-ScienceDataManagementGroupatRutherfordAppletonLaboratory－英国阿普尔顿实验室的e－science数据管理小组ztheHighEnergyAcceleratorResearchOrganization,KEK,inJapan－日本KEK加速器研究结构iRODS简介{IntegratedRule-OrientedDataSystem面向规则的集成数据系统，是一个用于数据网格管理的一个中间件。{用来将分布式的计算机整合成了一个庞大的存储资源，用于存储数据，共享数据，统一管理。也可以说，用来将分布在不同计算机上的数据资源虚拟到一台虚拟服务器上，客户端通过访问这台虚拟服务器而可以获取所有的数据，而不必关心数据存放在哪台计算机上。{iRODS的虚拟资源用数据集、数据对象代替了目录和文件的概念，并将他们存储在数据库中，组成一个虚拟的目录树。{官方网站：的特点{开源open-source{增加了WINDOWS服务器。能管理WINDOWS目录文件。{并非从零开始，iRODS将基于SRB十年来在数据网格、数字图书馆、数据长期保存和实时数据管理等领域及若干个项目应用中取得的数据管理的经验，iRODS的设计将汲取SRB的长处，并保留SRB中数据管理的功能，对于原来的SRB用户而言，新的iRODS系统是很容易学习并使用的{灵活性：从以往SRB的应用中来看，SRB对数据的管理策略是“硬编码”的，因此当SRB应用于不同的项目时，由于各个项目对数据的管理需求不同，需要根据需求对SRB的代码进行改动，为此，iRODS采用了ruleorientedprogramming的方法，以ruleengine为核心，为用户提供了一个灵活的可以按需定制的网格管理中间件{iRODS的客户：既可以作为个人的独立的数据集管理工具，也可以作为一个跨越多个地区的分布式的数据集管理工具，可以允许上千的用户，管理PT级别的数据{改进的客户端和更加简单的安装方式iRODS的改进{iRODS与SRB最大的不同是引入了规则（也叫Action或任务），ROP面向规则的编程。在SRB中，所有的操作都依靠已经约定的命令，不能满足用户对操作个性化，多样化的需求。规则的好处：•定制自己需要的操作，难免有些操作是命令无法实现的，可以通过定义规则来实现。•定义许多功能一样的规则，如果一个规则不能执行，可以用其它规则的替代。•给规则的执行加上条件。74iRODS的主要思想{存储资源的虚拟化，实现分布式、异构存储资源的管理与共享zResource-physicalresourcevs.logicalresource{数据资源的虚拟化，通过逻辑名称空间实现资源发现与访问的透明化zCollection{元数据管理虚拟化，实现灵活的元数据管理机制ziCATiRODS中的基本概念{数据对象（DataObject）ziRODS所管理的数据文件，可以是一个任意类型的文件，也可以是一个指向另一个dataobject的软链接{数据集合（collection）z在iRODS中用来组织数据对象的逻辑单位。z一个collection下可以有多个子collection，多个collection组成一个目录树。z数据对象存储时必须为其指定collection。zCollection类似于操作系统中的目录结构，但一个collection下的数据对象可能位于不同的物理存储设备上。{物理资源（Resource/physicalresource）z一个能够提供存储功能的软件或者硬件系统，例如UnixFileSystem.{逻辑资源（LogicalResource）z一个逻辑资源可以是一个加上特定限制条件的物理资源或者是多个物理资源的集合。{元数据目录（iCAT）z一个用于存储iRODS中相关信息的数据库，包括每个数据对象的位置和物理路径，用户相关信息，以及用户自定义元数据等。z系统元数据（SystemMetadata）z用户自定义元数据iRODS的规则{微服务是组成规则、命令的最小单元，直接操作数据资源。{规则是由实现一个逻辑功能一组微服务和子规则组成。规则大体分为两类：z系统级规则：包括数据管理指令和自动化服务的一些指令。z用户级规则：指的是规则引擎在客户端运行，通过irule指令加以调用的规则。规则的执行方式{立即执行方式规则按约定定义好后，用命令直接调用，工作流立即执行生效。{延迟执行方式iRODS还提供了延迟一段时间或在每天某个固定的时间执行的功能。{事件触发执行当某个事件发生后（比如上传、删除文件），自动执行一条规则。75元数据的采集：{元数据，是指数据文件的描述信息，包括每个数据对象的位置和物理路径，用户相关信息，以及用户自定义元数据等。{iRODS采用集中式的元数据存储方式，将所有的元数据存储在ICAT数据库中，文件的检索都在ICAT数据库中。{大部分的元数据iRODS可以自动进行采集。如文件名，所有者，修改日期等。{iRODS还允许自定义元数据，定义的格式为（属性名，属性值，单位），可以用来查询。例如：（文件大小，30，KB）iRODS的体系结构iRODS的服务器服务器{系统必须要有一台IES(iCAT-enabledServer){IES(iCAT-enabledServer)本身就是一台iRODS服务器。{它包含元数据信息（元数据信息是对文件数据的描述信息）。{PostgreSQLorOracle用来存放元数据信息。{IES必须使用linuxOS{I-commands客户端可以用命令来对服务器进行管理。76客户端{i-commands命令行命令行客户端，支持linux和windows{iRODSWebBrowserWEB客户端{iRODSExplorerforWindowsWindows客户端{Jargon（jargon.jar）与java的API接口。供JAVA程序调用。文件传输性能{这是从法国里昂到日本KEK之间的测试,图的上部分是iRODS的测试结果,下面是BBCP(一种网络文件传输工具)的。可以看出iRODS要优于BBCP。提纲{背景{功能{使用{应用案例功能{虚拟系统（逻辑命名）将分布在广域网上的多台计算机上的数据资源，整合到一台虚拟计算机上统一管理。{数据传输采用UDP协议传输，当传输文件大于一定值时,iRODS会采用多线程并行传输数据。传输可自动进行。{存储资源扩展当iRODS的存储硬盘不够用时，可以再整合一台计算机到iRODS，这样可以不再担心存储空间不够用。{系统元数据和用户自定义元数据的管理管理系统和用户定义的元数据，允许用户自定义元数据的模板。77功能{规则引擎能够解释数据维护的各种命令和规则。{执行远程工作流{定时系统（立即和延迟执行）定时系统可以让iRODS自动执行一些操作。{消息系统（微服务间的通信）提纲{背景{功能{使用{应用案例使用环境{硬件多台服务器(其中一台装iCAT服务器和WEB服务器){软件linux+iRODS+postgreSQL+Apache+PHP{用户管理员，数据和服务器的维护，节点的挂载等。最终用户，数据的查询和使用，用WEB客户端。安装使用过程{到官网下载软件包，{安装ICAT服务器（LINUX操作系统）{安装iRODS服务器{起动ICAT服务器和iRODS服务器。{将iRODS服务器注册到ICAT中。{将文件数据注册到iRODS。{为数据分配权限78命令行的使用{可以在linux或windows下使用{共提供４５个一级命令{Iadmin命令下有33个二级命令。{imeta命令下有7个二级命令命令实例{mkrescwinResc“windowsfilesystem”archive“159.226.3.223/D:/Vault挂载一个IRODS节点,节点IP为159.226.3.223,文件类型为Windows,文件存储位置为D:/Vault{iregC:/test/home/user/xxx注册本地目录C:/test到IRODS的数据集/home/user/xxx下,这其实就是系统元数据采集的过程.命令实例{iput–RwinResclocal.txtcol将本地当前目录下local.txt上传到col数据集，存储资源为winResc{iget–RwinResccol/dataObj.txtlocaldir将服务器文件col/dataObj.txt下载到本地目录localdir，存储资源为winRescWeb客户端的使用树形文件集子集和文件的详细信息新建数据集和文件上传文件元数据录入按元数据搜索79Web客户端演示{:159.226.3.225port:1247user:cnicpsw:123456iRODSexplorer的主界面规则的定义{iRODSRule的格式zactionDef|condition|workflow-chain|recovery-chainzactionDef是rule的名称，其他rule可以使用该identifier来引用该rule，zcondition是指该rule在什么条件下执行，只有当条件满足的时候，rule才执行。condition由attribute组成，例如$rescName==demoResc或者$objPathlike/x/y/z/*zworkflow-chain是在一个rule中一系列待执行的micro-service，micro-service之间用＃＃隔开，每一个micro-service可能含有多个输入输出参数。zrecovery-chain是如何workflow-chain中的任何一个micro-service执行失败的话，则执行recovery-chain。如果不需要，则置nop。{规则的定义一般放在server/config/reCconfigs/core.irb文件中，才能被使用。JAVA接口(Jargon)上图是Jargon.jar内的对象层次图，为我们的二次开发工作提供了许多类和方法，SRB包内保留了许多原来SRB的API，我们可以继续用。只要将jargon.jar导入到开发项目中就能使用。80提纲{背景{功能{使用{应