腐蚀科学通用数据模型及界面III-数据集成管理环境

中国科学E辑:技术科学2009年第39卷第2期:244~248数据集成管理环境唐子龙天津大学材料科学与工程学院,天津300072*E-mail:[e-mail]收稿日期:2007-06-25;接受日期:2007-08-22科技部专项课题(批准号:2005DKA10400-Z4)资助摘要本文介绍了作者开发的腐蚀数据集成和管理环境,该系统既可用于通常腐蚀数据的整理和归类,数据岛节点的封装和布置.为腐蚀数据的大规模集成,提供了客户端整合应用程序和服务器组装分解层.首先着重介绍集成环境的管理组织功能,与其他科学计算软件的接口匹配,数据岛模板和数据的发表存档功能.最后通过实例介绍了通用腐蚀数据模型的自组装和分解,构建数据岛的过程和方法,以及通过数据岛模板处理最小化数据整合的工作量.关键词腐蚀软件接口数据模型信息整合随互联网的普及,数据共享得到了大家的重视.一些腐蚀工作者针对某个特定的领域,建立了相应的腐蚀信息系统.曹辉等[1]采用微软SQLServer作为数据库管理系统,ASP作为前端工具建立了压力管道容器腐蚀失效案例库并可进行一定查询.董超芳等[2]采用微软Access作为数据库管理系统建立材料性能数据库和均匀腐蚀的设备高温损伤在役安全评估系统.更早一些,高立群等[3]介绍了基于微软ASP技术建立和实现网络腐蚀数据库查询系统的方案.通常这类系统均具有一定的查询功能.问题是这些数据只能在系统内流动,外部的数据调用或共享则比较困难,例如需要进行数据挖掘,有两个选项可解决此问题.一是将数据库数据以满足下游应用程序格式的进行输出输入;二是系统新建数据处理模块,这样就不能充分利用已有的模块和软件.这两种解决方案均没能实现数据或处理模块的复用,由此说明可移植性在数据共享和整合中的重要作用.前文工作已建立通用腐蚀数据模型并论证了统一接口界面的必要性和可能性[4],详细分析了通用腐蚀数据模型应该具备的腐蚀科学和软件科学的特征,并采用OOD/OOA设计方法,采用W3C的XSD定义了通用腐蚀数据模型及各数据节点[5],释放了基于Java和.Net的公共应用程序接口(API)类库.本文扩展前期工作,采用Java语言开发了基于通用腐蚀数据模型的数据集成管理环境(CDIME).本文主要目的介绍CDIME的主要功能和特色,数据模型中节点的分解和组装,以深化理解通用腐蚀数据模型,腐蚀数据标记语言及其应用程序界面(API).1管理系统的界面建立腐蚀数据整合环境的目的采用腐蚀数据标记语言将多源杂化腐蚀数据整合成符合通用腐蚀数据模型的数据以便于数据的传输和扩散.同时将整合后的数据分解成可直接用于数据挖掘和分析的单元.管理环境有两种工作模式图形界面模式和命令行模式.命令行模式主要提供给高级用户进行大量244中国科学E辑:技术科学2009年第39卷第2期数据做批处理,同时为整合进入应用服务器预留了接口.图形界面模式主要用于日常数据的模型化,个人使用为主.腐蚀数据整合管理环境主体结构见图1.分为三个主要区域,菜单和工具条位于界面的上部,根据当前内容,菜单可处于激活或淡出状态,意味着该项功能可用或不可用.左边是数据岛和数据岛簇的树结构浏览器(浏览树),数据岛簇按照引入的顺序排列,用户可根据需要重新排列,每个岛簇又依次包含多个数据岛,依次类推.左边浏览器中每类节点均有特征的颜色和字体相对应.右边是各种组件的显示编辑区.所有数据岛节点数据,图像和动画均可在此显示和编辑.图1腐蚀数据整合管理环境及编辑区功能2管理系统的功能CDML提供了数据编辑和组织,多源输入输出数据,数据岛簇存档和引入,数据发表,模板和搜索排序,完整性检查和安全等多种功能,下面分别介绍.2.1常用功能及说明科学数据管理整合环境包含大量用户已经习惯的Windows应用程序的功能,这里集中介绍CDIME的特色和关键功能.CDIME设计以使用方便为第一原则.可选功能尽可能直接整合进组件的弹出菜单,采用“即用即点”的调用方式,并辅以功能向导.这样,用户点击鼠标右键,检查弹出菜单即可获得相应功能,这一点与传统Windows应用将菜单集成到主菜单不同.建议总是尝试使用鼠标右键,检查“即用即点”.系统的右部编辑显示区可容纳显示多个各种组件,当组件和数据较多时需要适当的管理在标签显示区“即用即点”即可获得管理功能.可以进行排序和移动,浏览树内定位,关闭组件等(图1),所有操作均有音效提示.1)浏览树内定位:当编辑区充满很多数据窗口时,用户常发现不易找到数据节点在浏览树中的位置,可以在窗口标签处“即用即点”,highlight功能可高亮标注数据节点在浏览树结构中的位置.2)组件排序和移动:对标签名进行升降序重排.如果需要数据窗口进行手动排序,可利用标签移动功能,移动组件到指定位置3)编辑区标签重排和定位:根据使用习惯可将编辑区标签定位到上下左右的四处;标签可多行或单行排布.4)关闭组件:根据布尔运算关闭当前组件,关闭所有组件和除当前组件外的其他组件.2.2数据输入输出及接口CDIME为数据岛中的文本和数值数据定义了相应的输入输出功能,以方便数据处理和简化操作.随数据类型而异的输入输出向导,帮助用户按指定格式顺利完成相关操作(如图2).其中输入向导可以直接读入绝大多数腐蚀测试仪器测试仪器生成的数据,例如Princeton仪器和国产ZF仪器生成的全部数据.上述两种设备在腐蚀测试使用中非常普及,因而数据导入非常容易.除此之外,通过改变相应参数,导入向导可处理许多特殊情况.图2数据岛的输入输出及其向导功能示例245唐子龙:腐蚀科学通用数据模型及界面III-数据集成管理环境246输出向导的主要作用是按指定格式输出数据.输出向导可输出Origin和Matlab等常见数学工具直接可用的数据,方便了数据深度处理.考虑微软的Excel的普及,尽管没有除微软系统外可用的Excel应用程序界面(API),CDIME还是专门定制了Excel格式的输出方式.2.3模板功能一段时间内,实验工作相对较为集中,许多信息是可以复用,如果每次都要全部输入,会浪费很多时间;另外不少实验工作有标准可循.CDIME提供的数据模板不仅简化用户的输入,且有助于保持信息的一致性.模板的使用有两种情况.一是输出模板如图3左,使用者可以专门建立模板,也可以在使用中将适合的数据岛以模板形式输出.前一种情况较为适合实验工作的设计,例如研究者可建立好模板供实验人员使用,此时模板实际上起到了实验指导的作用.后一种情况则可以吸取别人工作中的优良成分.二是引用模板,已建立好的模板可通过“通过模板添加数据岛”功能来实例化,如图3右.考虑到每次实验结果一般不相同以及知识产权,模板的输入输出只包含数据岛的前五个一级节点[5],而数据节点则不包含其中.2.4数据的发表和归档功能系统支持两种只读方式的数据发表方式:电子书和PDF.在电子书输出向导的帮助下,可将数据岛簇输出建立电子书.得到的电子书可进行全文搜索,例如搜索某个作者,在某段时间内的工作等,相当于一个集成的本地数据库,同时具有强大的搜索功能.输出PDF文档的要求稍高,用户系统内需已安装AdobeAcrobat,有条件的用户可用.这两种发表方式的预期设计是发布数据的只读版本,不能编辑和直接的数据输出.生成的电子书的如图4.图3数据岛的输出模板(左)和输入模板(右)的功能示例图4数据发表功能(左)和生成的电子书(右)中国科学E辑:技术科学2009年第39卷第2期在科研工作中,常需要将一段时间的工作存档供后续参考,为此,系统设计了存档功能.图5是将数据岛簇归档输出的向导.在选定要输出的数据岛簇和指定输出文件后,系统自动完成归档操作,归档文件中可包括任意多个岛簇,数据岛簇间是否有明确的含义也并不重要,由作者自定.例如当需要共享某些数据时,可将数据建立一个或多个数据岛再归并入一个或多个数据岛簇,再输出存档文件.当需要复用存档数据时,系统可将存档数据自动导入,再建存档前的数据岛簇结构.引入后的数据在CDIME中可方便的完成数据的查找和定位,节省很多时间.图5数据归档功能及其定义向导的功能示例存档功能除了用于数据备份存档外,更重要的作用是作为共享数据的载体.存档数据能够异时异地再导入腐蚀数据整合和管理系统,供数据共享和整合.高级用户可以采用腐蚀数据标记语言的公共程序界面(API)分解存档文件,以其他适当的方式输出,例如导入数据库或直接以网页显示给读者.CDIME正在建的高级搜索功能可直接搜索存档文件,而无须将存档文件包含所有数据岛簇直接引入系统,仅将搜索后满足要求的数据岛簇引入系统.以上介绍了三种数据发布和共享方式.电子书和PDF文档以只读方式发布,一般不能直接重复使用所包含的数据.而存档文件则可读且复用.这三种方法均内置了文档完整性检查机制以确认保证文档没有被改动,实现数据安全;除完整性检查机制外,在建立存档文件时采用了加密运算.完整性检查机制和加密运算都是为了确保数据在传输过程不被没有授权的第三方截取,或截取后也无法打开,这点对存档文件尤其重要.就使用而言,通过本系统或腐蚀标记语言API的存档文件的加解密过程是透明的,即CDIME或腐蚀标记语言API可以直接读写存档文件.下面介绍一使用案例.在作者的课题组内,数据常以电子书和存档两种方式发布和共享,如果需要原始数据,可得到存档文件,自行引入科学数据整合管理环境,反之可用电子书学习.实现了数据有控制的获取和使用.3使用案例－独立整合腐蚀数据节点的分解与组装熟悉腐蚀数据整合环境的基本功能后,以腐蚀测试中最常见的动电位极化曲线测试,介绍在CDIME内从头开始建立独立整合腐蚀数据的流称以及数据节点组装和分解.为说明方便,选用材料是铝合金,介质是人造海水.步骤如下.1)建立数据岛簇并命名如“动电位极化曲线”,在岛簇下建立数据岛并命名如“PO_铝_海水”2)数据岛“基本信息”标签下的填入实验者,目的和关键词等数据,其中实验者可以有多个姓名;实验目的是“铝在塘沽海水中孔蚀性能测试”;关键词应尽量全面和典型,本例可加入铝合金,海水,ASTM标准,动电位等.3)数据岛“实验”标签下,实验时间因包括实验日期和实验起始时间,时间选择器可简化填写;实验工艺部分不添;在“标准”数据节点下加入ASTM动电位测试标准.“实验观察”节点内应该填入实验前后和过程中的各种实验现象,如介质和试样的颜色变化等.4)数据岛“介质”标签下的填入介质组成和浓度,如3.5%NaCl;“环境参数”标签下添加温度,如25℃;“介质参数”标签下添加pH,如6.5.5)数据岛“测量”标签下所用仪器填写Princeton273电化学工作站,“控制因素”可选“电位”,“控制方式”可选“线形扫描”,“控制参数”节点需加入最小电位−0.50V最大电位1.0V,扫描速率0.5mV/s.6)数据岛“电极”标签下,“工作电极”节点下添加铝合金材料,电极面积2.5cm2等数据,“前处理”节点要包括打磨,脱脂和清洗等步骤,“后处理”节点包括清洗等步骤.247唐子龙:腐蚀科学通用数据模型及界面III-数据集成管理环境至此,已经完成数据岛基本信息,共六步.然后填充“数据岛值”节点.7)实验结束后,通过数据引入向导,将Prince-ton273电化学工作站生成的数据文件导入“三列数据表列”节点下.8)假设实验后进行扫描电镜形貌观察和EDS分析,可将得到的不同分辨率的多个图像以及EDS分析图导入数据岛值的“图像表列”标签下.以上是从头开始填写完整数据岛数据的基本步骤,看起来较为繁琐.但这一过程通常只做一次,模板功能可将前六步简化成一步.通过模板在数据岛簇中添加数据岛,然后修改必要的节点数据包括实验时间,电极材料和电极面积.如果是重复实验可进一步简化,实际上也就是几次鼠标点击.本系统内建了各种腐蚀数据模板,如果合适,用户可直接调用,或者在此基础上修改,非常简单易用.研究人员通过建立详细模板可标准化实验过程.腐蚀数据节点的