科学计算环境文件传输和共享服务

科学计算环境文件传输和共享服务曹荣强肖海力王小宁卢莎莎解晓伟主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望研究背景•主要工作用户管理/usershttps作业管理/jobshttp文件传输/data/jobshttp应用管理/resourceshttp/login/logout/me/{username}/password/online/{ujid}/status/{gid}/cs/{fileName}/view/hpc/{fileName}/applications/appName/change/reset根路径分布式架构的环境系统软件SCE研发院超级计算环境国家高性能计算环境建设和运行中科院超算环境和国家高性能计算环境研究背景•中科院超算环境总中心分中心–9家完成接入所级中心–18家完成接入GPU计算机群–11家完成接入研究背景•中国国家网格–国家超算中心•天津•济南•长沙•深圳–上海超算中心–计算能力60PF–存储能力50PB研究背景•多种使用方式•截止到2017年05月–计算账号：1000+–作业数：82万+–机时：1.58亿CPU小时+研究背景•支持的项目列表•863–OPUS运行支持平台–工业产品创新设计社区–新药创制社区–数字媒体和文化创意社区•中科院信息化专项–高寒环境联合监测研究云–干细胞与生物医药科技领域云–GridMol分子可视化软件–计算化学云服务社区•ATLAS合作–ARC-CE通过API使用环境资源–973–微重力效应模拟平台其他大规模并行水文处理平台四川大学燃烧动力学中心材料科学集成平台研究背景•当前观察到的事实–数据量从几百MB到GB级甚至TB级–数据传输时间占作业处理时间的比例越来越大–计算作业从高性能、计算密集型逐渐呈现高通量、数据密集型的特点–网络带宽越来大越大，10M-100M-1000M–HTML5（本地存储，多线程，跨域通信…)–REST开发接口主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望相关工作•目标：数据传输和共享•拟解决的问题–文件传输耗时长–网络不稳定–数据在线共享•文件传输服务–FTP(FileTransferProtocol)、SCP(SecureCopy)和SFTP(SecureFileTransferProtocol)–GridFTP，GO(DataReplicatorGlobusOnline)–BitTorrent和CDN(ContentDeliveryNetwork)相关工作•计算环境–XSEDE(ExtremeScienceandEngineeringDiscoveryEnvironment)，Globus及GridFTP相关服务–WLCG(WorldWideLHCComputingGrid)，专用网络和文件服务，支持常见的各种协议–LIGO(LaserInterferometerGravitationalwaveObservatory)，专门的数据复制器，第三方代理服务传输–中科院超级计算环境，基于SFTP协议的MCP(Multi-nodesCoPy)数据服务相关工作•REST开发服务–形式更简单，设计更轻量，实现更便捷–Globus，应用和平台层面的服务，身份管理、联合认证[13]和数据传输、同步和共享–美国NERSC(NationalEnergyResearchScientificComputingCenter)提出了REST风格的API和REST风格API的框架•架构和部署–微服务，占用资源小、可扩展、可重用和快速分发，运行时可快速扩展瓶颈服务–XUP(XSEDEUserPortal)，从复杂整体式结构转变为可重用、可持续更新的微服务，XSEDE的信息服务也在向微服务架构转变主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望服务架构和关键技术•数据文件传输和共享服务功能架构图脚本…REST开发接口元信息服务文件管理文件传输文件共享MCP文件服务计算资源存储环境高速存储客户端接口层服务层基础层WEB社区移动APP桌面程序HTTP/AJAX统一认证服务安全和授权服务统计查询数据转发文件缓存断点续传历史信息当前状态短链接服务日志服务微服务管理ApacheHttpdApacheTomcatmemcachedmysql数据库服务架构和关键技术•客户端–通过REST开发接口调用数据文件传输和共享服务的外部应用–WEB应用、移动应用、桌面应用甚至是基于浏览的插件…–支持HTTP协议和AJAX调用方式•服务端–接口层•开发接口和统一认证；简单易用、功能灵活、兼容性强–服务层•数据文件传输和共享服务的核心功能•基础层–MCP文件服务连接SCE环境存储和计算机群的存储空间–Apache的Httpd和tomcat容器，负载均衡和微服务动态部署–高速缓存memcached信息共享+mysql数据库持久化–日志信息存储和处理服务架构和关键技术•文件传输和共享服务–文件管理–文件传输–文件共享–统计查询–元信息服务–安全和授权服务服务架构和关键技术•文件传输用户(PC机)REST开发接口计算环境计算机群数据流转发存储转发–第1种方法•两段+异步–第2种方法•直联•数据流转发•响应快–第3种方法•存储+数据流转发•同步和高效带宽利用服务架构和关键技术•文件共享–计算环境中的数据文件，生成一个文件传输的链接•是否需要密码保护、共享有效期–短链接服务将长链接换为一个短链接–安全权限检查，共享用户下载文件作业空间文件管理作业文件列表REST开发接口短链接权限检查文件共享(发起)文件传输文件共享文件共享URL文件数据服务架构和关键技术•元信息服务–服务的整体配置信息–各类操作的状态信息–微服务的活动信息–日志配置和存储信息持久化数据库高速缓存存储接口服务整体配置信息操作信息微服务信息日志配置持久化文件访问函数访问函数访问函数访问函数主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望REST开发接口•HTTP(s)协议+无状态+URL功能类型HTTP方法URI功能用户管理POST/users/login登录到计算环境GET/users/logout从计算环境退出文件管理GET/data/jobs/{ujid}/[cs|hpc]查看指定SCE环境或计算机群的工作空间GET/data/jobs/{ujid}/filesUpload创建多个文件的上传URLGET/data/jobs/{ujid}/fileUpload创建单个文件的上传URLGET/data/jobs/{ujid}/fileDownload创建指定文件的下载URL文件传输POST多个文件的上传URL传输多个文件到指定的作业工作空间POST单个文件的上传URL传输单个文件，可断点续传GET指定文件的下载URL下载指定文件，可断点续传文件共享POST/data/jobs/share/{ujid}/[cs|hpc]在SCE环境或计算机群的指定作业空间，创建的单个文件的共享URL，可选是否密码保护，是否生成短URL。DELETE/data/jobs/share/{ujid}/[cs|hpc]在SCE环境或计算机群的指定作业空间，，禁止指定文件的共享统计查询GET/data/jobs/info/now查询服务的当前状态和简单统计信息GET/data/jobs/info/stat查询指定用户和指定时间段的统计信息REST开发接口•通过如GET、POST和PUT等HTTP标准方法进行调用•作用域包含在URI地址字符串之中•参数包含在URI的查询字符串或消息体之中•返回消息:–status_code和status_msg两个通用参数，自描述;–每个函数的具体返回内容;下载文件时返回文件内容主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望部署和应用•部署结构图–多个微服务部署–实例动态扩展部署和应用•应用场景–通用社区和多学科领域应用社区，几百MB到几个GB级别的数据传输–多学科领域的协同工作环境，在不同的范围内共享和分发作业数据文件•应用实例–中科院超级计算环境，portal2.0,主要内容•研究背景•相关工作•服务架构和关键技术•REST开发接口•部署和应用•小结和展望小结和展望•设计并实现基于微服务架构的数据文件传输和共享服务–面向中国科学院超级计算环境–提供REST开发接口–几百MB到GB量级的作业数据文件传输和共享•下一步工作–提升数据传输服务的性能–更灵活的共享方式，如科学工作流–支持更多传输协议如FTP–WEB多端图形化服务谢谢！