可视化数据管理与发布工具VisualDB设计与功能介绍

可视化关系数据库管理发布系统VisualDB中科院计算机网络信息中心科学数据中心报告提纲VisualDB概述VisualDB功能介绍VisualDB应用现状与展望VisualDB概述开发背景设计目标版本开发历史开发背景来源于科学数据库csdb项目2002年，建库任务的提出纳米科技基础数据库（10个子库）中国纳米专利公开库中国纳米专利授权库国外纳米专利数据库纳米成果数据库纳米课题数据库纳米专家数据库纳米测试技术数据库纳米材料性能数据库纳米文献摘要数据库纳米器件数据库开发背景功能需求：增、删、改、查（×2）；概览、细览；数据之间存在关联；数据类型的多样性：文件、字典、日期、链接、图片、音频、视频、HTML…数据录入数据更新数据检索、浏览开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看如果面对每个子库进行开发：10*(4*2＋2)=100页面数据访问逻辑……开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看XX数据库增加删除查询修改浏览查看配置专利数据库专家数据库成果数据库VisualDBVisualDB面对的问题大量的、异构的关系型数据库需要发布；不要依赖于某种特定的操作系统以及关系型数据库管理系统；——普适性如何解决图片、视频、图文混排等非格式化数据的存储与显示？——不要依赖于物理模型需要区分数据管理员与数据用户的权限；——用户访问控制需要满足数据的浏览、检索功能需求；——数据的录入与发布支持多个子库，并需要提供为子库进行配置的界面；——目录方案要足够简单、足够笨；——自动化、半自动化更多的需求不要让每个子库的显示界面一模一样！——定制化需要开发其它的功能（如：统计）怎么办？能基于VisualDB吗？——二次开发接口数据类型不够用怎么办？——类型库及其接口需要在远程访问VisualDB数据，可以吗？——远程访问接口VisualDB的设计目标总体目标：屏蔽差异性：数据库产品差异、存储位置的差异、结构的差异让数据的访问更加安全让数据的情况一目了然让数据对象在网络中自由传输交换VisualDB的设计目标VisualDB=DB+?DB访问记帐库数据量（质量）统计库记录索引库WebUIWebServicesTools文档资源库用户访问控制库VisualDB+VisualDB的设计目标为建库人员：针对关系型数据库可视化的、可配置的数据录入、更新、发布无需编写代码，即可完成对数据库的内容发布，提供数据的检索和浏览服务为数据应用开发人员：模块接口便于扩展（认证、授权模块）为二次开发提供数据访问接口（API&服务）每个页面可以灵活定制，并且能够方便的引用到数据需求分析，概念建模逻辑建模应用开发，数据著录应用开发，数据发布应用开发，数据统计分析抽取物理模型自动生成数据管理界面自动生成数据发布界面自动进行数据统计分析物理建模配置数据目录传统应用开发流程VDB环境对应用开发流程的影响原型系统csdb数据访问层WEB-UDB1.0UDB-HOSTINGWEB-UDB1.22002年吴开超、何洪波、沈志宏2003年吴开超、沈志宏、昝振宇2004年沈志宏、昝振宇、查新征2005年沈志宏2006年沈志宏、昝振宇、杨新梅VisualDB1.0发布版本2008年沈志宏、王丙林重构虚拟主机页面定制稳定版本合并正式发布VisualDB1.2发布版本版本历史重构2008年沈志宏VisualDB1.3发布版本重构2009年沈志宏VisualDB功能介绍软件模块功能模块组成使用流程各模块功能介绍总体特性VisualDB软件模块工具接口数据访问核心模块csdb-commons-dbcp/csdb-commons-orm/csdb-jdbcxspring/struts/velocity/taglib/jQuery/ajax/json/EHCache/hessianvdb-ormjdbcxvdb-daovdb-cachevdb-catalogtypelibToTvdb-templatesvdbsecurityvdbaccoutingvdb-service(ws)jsoQuery(json)vdbcatalogbuildervdbeditor(DataForge?)vdbpublisher(mydb)vdbexplorervdbdatasetregistryvalidationrulesengineadaptersimport/exportvdbstat.vdb-dbcpRESTinterfacehessian模块组成MyDB：网站前台提供数据的检索和浏览界面DataForge：数据管理提供数据的录入界面CatalogBuilder：目录管理提供目录的配置管理SecurityCenter：安全中心提供数据的安全策略vReports：统计分析对数据、数据访问进行统计使用流程系统管理员数据集模型数据录入工具数据发布工具生成生成VisualDB目录配置工具建模数据集数据管理员数据用户录入检索数据应用开发者二次开发操作步骤Step1.安装VisualDB操作步骤Step2.系统管理员完成目录的配置操作步骤Step3.系统管理员为用户分配权限操作步骤Step4.数据管理员进行数据录入操作步骤Step5.数据用户进行数据检索各模块功能介绍CatalogBuilder目录是VDB的核心所在，系统管理员的大部分工作都在使用CatalogBuilder本地域属性设置网站的基本属性和框架结构设置数据集的发布风格数据集模型支持一个域多个数据集设置数据集的逻辑模型（实体、关系、查询）CatalogBuilder本地域属性设置基本属性设置显示风格设置网站发布CatalogBuilder数据集维护数据集列表，可进行添加和删除CatalogBuilder数据集属性设置数据集基本属性的设置数据集连接属性的设置CatalogBuilder实体设置实体基本属性的设置实体主键的设置CatalogBuilder实体包含属性设置实体的属性列表：可进行修改、删除、新增等操作实体某个属性的设置CatalogBuilder查询设置查询列表的维护，可对查询进行修改、删除、新增等某个查询基本属性的设置CatalogBuilder关系设置一对多关系的设置多对多关系的设置关系列表的维护：新增、修改、删除CatalogBuilder视图设置视图的设置数据类型编辑风格显示风格整数类型单行文本框数值标签实数类型单行文本框文本标签文本类型单行文本框、多行文本框、密码输入框文本标签、密码显示、HTML显示时间类型日期控件、日期时间控件日期输出、日期时间输出枚举类型单选按钮、普通下拉框、下拉弹出框、弹出窗口枚举输出HTML类型HTML编辑器文本标签超链接类型文本输入框文本标签表达式类型组合标签本地文件多行文本附件列表文件类型文件控件附件列表、图片列表、视频列表引用类型单选框、下拉框、弹出窗口简单显示集合类型标题格式、表格格式标题列表、表格列表VDB自定义数据类型数据库各模块功能介绍MyDB浏览：支持分页、排序、多种显示风格查看：支持多表关联检索：针对所有可检索字段进行组合查询MyDB不同的浏览风格显示哪些字段由目录指定MyDB分页和排序支持排序支持分页MyDB实体显示虚拟实体显示MyDBMyDB详细信息显示字段可配置MyDB关联信息显示MyDB查询MyDB配置索引跨库检索各模块功能介绍DataForge增加、删除、修改、审批浏览与检索数据校验数据导入导出日志查看数据库DataForge多行文本框日期控件文件控件弹出窗口不同的编辑风格如何显示编辑控件由目录指定下拉控件DataForge不同的编辑风格本地文件类型DataForge不同的编辑风格本地文件显示方式：支持下载DataForge基本信息关联信息基本信息与关联信息的录入哪些信息需关联由目录指定标题编辑方式表格编辑方式DataForge客户端校验客户端校验如何校验由目录指定对数据的校验DataForge新增记录成功新增记录DataForge查询框记录浏览点击按字段排序记录的浏览、检索默认排序方式由目录指定DataForge数据导入记录的导入导出指定字段数据导出指定方式DataForge记录的删除级联删除一对多记录删除多对多关系删除主记录DataForge数据访问日志查看日志数据修改日志各模块功能介绍SecurityCenter增加、修改、删除用户组信息、管理组内用户、用户组授权增加、修改、删除用户信息、设置用户组、用户授权SecurityCenter角色描述系统级系统管理员具有所有权限数据管理员可以使用DataForgeWebService用户资源共享接口数据集级数据表级数据录入员可以录入、更新指定数据表记录级数据审核员可以审核指定数据数据编辑员可以编辑指定数据数据查看员可以查看指定数据SecurityCenter资源过滤器描述系统资源过滤器所有数据表中所有数据本组数据表中本组用户录入的数据个人数据表中个人录入数据自定义资源过滤器自定义可以任意对数据表中记录进行分类比如selectidfromtablenamewherecolumn100等等SecurityCenter自定义资源过滤器SecurityCenter用户管理用户组列表用户组授权SecurityCenter用户组管理用户列表用户授权SecurityCenter权限不足提示没权限针对表进行修改记录的审核、修改、删除都做了权限控制各模块功能介绍vReports统计分析是VDB的主要功能模块之一；数据质量指标统计数据集数据量大小，数据实体数据量大小，记录条数，字段在关系数据库中的空间利用率等数据访问统计数据集访问统计当日分时段，分访问来源，分日期区间，访问关键字统计，分实体统计，分操作统计，高频访问IP统计等数据实体访问统计当日分时段，分访问来源，分日期区间，访问关键字统计，分操作统计，高频访问IP统计等vReports——数据质量指标表格显示利用率细览总空间大小数据集文件数量数据集大小最后更新时间vReports——数据质量指标历史对比图表显示vReports——数据访问统计24小时实时统计增删改查情况日期时间段访问情况vReports——数据访问统计访问来源统计增删改查情况其它主要统计报表总体特性普适性采用java平台无关性语言开发，可在Windows/Linux等操作环境下安装运行VisualDB支持流行的RDBMS（关系型数据库），并有效屏蔽底层数据库的异构性。支持的RDBMS包括：Oracle、SQLServer、MySQL、Access、PostgreSQL、HSQL、SQLite、derby等，此外，VisualDB还支持ODBC数据源。总体特性普适性提供多种主题供用户选择VisualDB总体特性易用性VisualDB基于流行的B/S结构开发，最终用户只需要IE浏览器即可进行数据的管理和访问实现零开发，用户通过简单的配置即可以实现数据的编辑和显示、检索、以及字段排序等功能，无需编写一行代码总体特性易用性完全可视化，高度可配置性，用户基本可以脱离后台数据库系统体验数据库的建设，无需专业的RDBMS背景总体特性易用性轻松实现跨库索引总体特性易用性数据导入导出，轻松自如总体特性安全性通过对用户访问控制的增强，提供用户授权机制，更有力的保护数据总体特性性能快速的响应速度，支持每秒至少50+的并发请求处理。总体特性可扩展性RDBMS驱动typelib—数据类型、编辑器、显示风格访问控制模型如何获取可扩展性？软件升级二次开发总体特性对二次开发的支持提供服务器端的模板语言，允许开发者使用VTL（VelocityTemplateLanguage）定