虚拟天文台数据访问

虚拟天文台数据访问客户端设计与实现2020/6/19硕士论文答辩2主要内容论文研究的背景论文研究的主要内容–GUI客户端–命令行客户端–系统应用：科学应用范例–系统集成与部署总结与展望2020/6/19硕士论文答辩3主要内容论文研究的背景论文研究的主要内容–GUI客户端–命令行客户端–系统应用：科学应用范例–系统集成与部署总结与展望2020/6/19硕士论文答辩4论文研究的背景虚拟天文台-天文观测技术和计算机技术发展的产物-通过先进的信息技术将全球范围内的研究资源无缝透明连接在一起形成的数据密集型网络化天文研究与科普教育平台。-特征：整合天文服务资源联合不同的天文数据提供各种天文服务资源共享促进天文学的研究和普及2002年6月成立国际虚拟天文台联盟（IVOA）2020/6/19硕士论文答辩5论文研究的背景中国虚拟天文台（China-VO）-2002年诞生，同年10月加入IVOA-发展：VO-enableLAMOSTe-science-天文应用工具：SkyMouse：桌面天文信息搜索FitHAS：FITS文件头入库VO-DAS：异地异构海量数据访问2020/6/19硕士论文答辩6论文研究的背景VODAS（VirtualObservatoryDataAccessService）-天文数据：分布性、异构性和海量的数据访问-2006年5月提出设计VO-DAS-在虚拟天文台环境下、在网格中间件OGSA-DAI的基础上设计开发一套符合国际虚拟天文台联盟标准的数据访问系统-目的：实现异地异构海量数据资源的访问-功能：交叉证认和联合查询星表、图像、光谱一次访问上百万条记录多种数据存储格式：CSV、ASCII、VOTable2020/6/19硕士论文答辩7论文研究的背景-VO-DAS的服务发布接口四大类接口：RMI：资源元数据接口DQI：数据查询接口DAI：数据存取接口MI：管理接口接口仅供程序使用，一般用户难以直接访问VO-DAS体系结构1）VO-DAS必须要有与之相适应的客户端供用户访问异地异构海量数据资源2020/6/19硕士论文答辩8论文研究的背景VO-DAS客户端-数据访问客户端的现状美国OpenSkyQuery：只提供Web客户端、同步查询一次访问最多5000条记录SDSS的casjob服务：只提供异步查询，分配给用户的空间有限，非异地查询功能查询方式访问数据量数据资源用户群2）基于VO-DAS的客户端要解决目前存在的这些问题2020/6/19硕士论文答辩9论文研究的背景-VODAS的三种客户端：GUI：图形界面，易学易用，适合初级用户命令行客户端：命令行方式，适合高级用户Web客户端：不需安装客户端即可使用扩大了VO-DAS的用户群，发挥了VO-DAS的能力2020/6/19硕士论文答辩10主要内容论文研究的背景论文研究的主要内容-GUI客户端-命令行客户端-系统应用：科学应用范例-系统集成与部署总结与展望2020/6/19硕士论文答辩11GUI客户端特点：所有的操作以图形界面的方式与用户交互适合低频率的数据访问适合小数据量的查询可与其它VO工具交互协同操作2020/6/19硕士论文答辩12GUI客户端-总体结构GUI客户端设计图2020/6/19硕士论文答辩13GUI客户端-设计工作流程：异步方式、同步方式-异步方式客户端请求连接获取元数据提交异步查询读取系统信息监控处理任务完成，下载数据写磁盘操作退出异步方式工作流程2020/6/19硕士论文答辩14GUI客户端-设计-同步方式客户端请求连接获取元数据提交同步查询读取系统信息等待数据返回与其它VO工具交互数据分析处理同步方式工作流程2020/6/19硕士论文答辩15GUI客户端-设计-两种方式异同同：查询任务描述（ADQL）数据存储格式（ASCII、VOTabl、FITS、GZIP）异：查询请求方式结果数据处理异步直接保存同步保存/互操作2020/6/19硕士论文答辩16GUI客户端-设计结果数据处理（同步）-PLASTIC（PlatformforAstronomyToolInterConnection）天文桌面应用工具之间的通讯协议解决VO工具之间的互操作问题PLASTICHUBPLASTICMESSAGE2020/6/19硕士论文答辩17GUI客户端-设计-结果数据处理时序VO-DAS与TOPCAT交互操作示意图2020/6/19硕士论文答辩18GUI客户端-设计监控模块-实时监控服务器的作业，从而对客户端信息进行处理-流程监控流程控制图2020/6/19硕士论文答辩19GUI客户端-设计获取元数据-元数据是描述数据的数据-给用户编辑查询任务提供参考-过程请求数据资源（GetAllResource）解析返回的资源XML字符串请求表信息（GetMetaTable）解析返回表的XML字符串请求表列信息(GetMetaColumn)解析表列的XML字符串-树形结点方式显示2020/6/19硕士论文答辩20GUI客户端-实现主界面ADQL编辑区元数据显示监控GUI客户端主界面2020/6/19硕士论文答辩21GUI客户端-小结•GUI客户端是VODAS客户端的一种形式•设计遵循初级用户简单易用的原则•以图形界面的方式实现：元数据获取、同步/异步查询结果数据处理（同步）、监控处理（异步）2020/6/19硕士论文答辩22主要内容论文背景和意义论文的主要内容–GUI客户端–命令行客户端–系统集成与部署–系统应用：科学应用范例总结与展望2020/6/19硕士论文答辩23命令行客户端特点：所有的操作以命令的方式与用户交互可以嵌入用户自己的程序中适合高频率批量的数据访问2020/6/19硕士论文答辩24命令行客户端-设计总体结构：Linux或Windows环境下的shell或bat命令后台调用服务器接口的java程序2020/6/19硕士论文答辩25命令行客户端-设计命令行客户端设计图2020/6/19硕士论文答辩26命令行客户端-设计工作流程-异步方式发起异步请求连接服务器获取任务状态提交任务获取结果数据地址下载数据异步方式工作流程2020/6/19硕士论文答辩27命令行客户端-设计-同步方式发起同步请求连接服务器等待结果数据提交任务返回结果数据同步方式工作流程2020/6/19硕士论文答辩28命令行客户端-设计命令部分-与用户直接交互的部分-分别用Shell脚本和批处理环境实现一套操作命令-实现流程：命令实现流程2020/6/19硕士论文答辩29命令行客户端-设计后台部分-接收前台提交的数据，按照服务器接口标准予以转换，并调用服务器接口。与GUI客户端的异同：同：对服务器接口的操作必须经由连接生成Session异：命令行用户每请求一次，连接一次；GUI用户则只连接一次命令行服务器地址等配置信息存放于文件；GUI则不是。命令行以XML文本显示元数据信息；GUI以树形结构显示2020/6/19硕士论文答辩30命令行客户端-实现后台程序实现实现一组支持客户端的请求操作类名说明ClassCommands_main主类，所有命令的入口ClassConnect连接服务器ClassMetaData获取并格式化元数据ClassSynQ同步查询ClassAsynQ异步查询ClassHelp帮助2020/6/19硕士论文答辩31命令行客户端-实现•命令接口命令名说明md获取元数据Syn提交同步查询任务Asyn提交异步查询任务Jobstatus得到任务的状态Dataurl获取异步提交任务执行结果保存地址destory销毁服务器上任务2020/6/19硕士论文答辩32命令行客户端-实现应用：asyn.sh–fadqlSample0@159.226.169.222/test/vodas.datSession2020/6/19硕士论文答辩33命令行客户端2020/6/19硕士论文答辩34命令行客户端-小结•以命令的方式提交用户请求•适合高级用户海量数据的查询要求•实现包含两部分：前台命令、后台程序GUI命令行工作方式Pushpull开发者复杂简单用户简单复杂GUI与命令行比较2020/6/19硕士论文答辩35主要内容论文背景和意义论文的主要内容–GUI客户端–命令行客户端–系统应用：科学应用范例–系统集成与部署总结与展望2020/6/19硕士论文答辩36科学应用范例•目的：用星流的运动轨迹研究银河系的引力势在星流的运动轨道上，我们选取一类距离最容易确定的恒星即BHB星（蓝水平分支星）来估算引力势。确定包含BHB星所在的A型星区域。由于A型星中的BHB星会受到BS星（蓝离散星）的干扰，然后就需要分离出BS星来得到BHB星。将这些BHB星用工具将其可视化即可估算出BHB星的运动轨迹，从而可以进一步分析出银河系的引力势。2020/6/19硕士论文答辩37科学应用范例•应用步骤：１）构造ADQL表达式，在GUI客户端查找包含BHB星所在A型星2）确保TOPCAT运行并启动内置PLASTICＨＵＢ3）将查询返回结果直接发送到TOPCAT4）在TOPCAT中构建表达式从A型星中筛选出BHB型5）求出BHB星的距离，进行坐标转换6）可视化3D图，估算运动轨迹。从而进一步求出银河系的引力势2020/6/19硕士论文答辩38科学范例GUI客户端同步查询结果2020/6/19硕士论文答辩39科学应用范例科学范例3D可视化2020/6/19硕士论文答辩40主要内容论文背景和意义论文的主要内容–GUI客户端–命令行客户端–系统应用：科学应用范例–系统集成与部署总结与展望2020/6/19硕士论文答辩41系统集成与部署-数据结点配置工具-VO-DAS系统的集成2020/6/19硕士论文答辩42数据结点配置工具•传统的数据资源共享方式专业性强而繁杂•数据结点配置工具解决数据资源的共享问题2020/6/19硕士论文答辩43数据结点配置工具总体结构数据结点配置工具模块图2020/6/19硕士论文答辩44数据结点配置工具工作流程初始化资源部署访问数据库元数据显示配置元数据生成文件2020/6/19硕士论文答辩45数据结点配置工具OGSA-DAI资源部署-ANT：Java工程自动化构建、部署工具-OGSA-DAI使用ANT实现资源部署命令行图形界面-java编程调用ANT实现OGSA-DAI图形界面的资源部署过程2020/6/19硕士论文答辩46数据结点配置工具数据库访问-JDBC：Java数据库连接应用程序接口简称，提供一套数据库编程API-实现访问已部署资源的数据库的元数据客户端/服务器的应用2020/6/19硕士论文答辩47数据结点配置工具元数据配置元数据文件2020/6/19硕士论文答辩48数据结点配置工具主界面数据结点配置工具主界面资源部署元数据显示元数据配置2020/6/19硕士论文答辩49VO-DAS系统的集成VO-DAS系统的组成VO-DASDataNodeVORegistryStorageServerClientVO-DAS系统关联图2020/6/19硕士论文答辩50VO-DAS系统的集成部署步骤1）VO-DASServer：部署VO-DAS的gar包及其配置文件2）DataNode：运行数据结点配置工具的jar包，经资源配置并最终生成么metadata.xml文件3）VORegistry：将metadata.xml文件的URL注册到VORegistry4)StorageServer:支持AstroGrid提供的VOSpace，允许指定FTP或GridFTP5）Client：GUI，设置java_home并运行jar包命令行，设置java_home和命令存放目录Web客户端2020/6/19硕士论文答辩51VO-DAS系统的集成与部署-小结•数据结点配置工具：实现了便捷的数据共享方式•VO-DAS系统集成：用户访问VO-DAS系统必不可少的工作2020/6/19硕士论文答辩52主要内容论文背景