国家数字图书馆唯一标识符系统的设计与实现

国家数字图书馆数字资源唯一标识符系统的设计与实现童忠勇李志尧杨东波摘要本文针对我国图书馆数字资源建设和服务中存在的问题，提出了国家数字图书馆数字资源唯一标识符系统（简称CDOI系统）建设的必要性，分析了CDOI系统的建设思路和设计框架，重点介绍了系统核心功能的实现方式，并对CDOI系统在图书馆中的应用进行了展望。关键词唯一标识符；数字图书馆；CDOI系统Abstract：Inordertosolveseveralproblemsindigitalresourcesdevelopmentandservicesofthelibrarywhicharementionedinthispaper,itisnecessarytobuildtheDigitalObjectUniqueIdentifierSystemofNationalDigitalLibraryofChina(CDOI).ThepaperanalyzestheconstructionideasanddesignframeworkoftheCDOIsystem,andparticularlyintroduceshowtoimplementitscorefunction,andthendiscussesitsapplicationinthefuture.KEYWORDS：Uniqueidentifier.Digitallibrary.CDOIsystem“十二五”期间，随着数字图书馆推广工程的逐步推进，我国数字图书馆建设进入高速发展期，数字资源呈现急剧增长趋势，以数字资源为中心、围绕整个数字资源生命周期的各个业务系统逐步投入使用，业务的多样性、融合性对资源的管理和系统的建设要求越来越高。目前，各省、市图书馆侧重于数字资源的建设和服务，但是缺乏对数字资源的规范管理，资源重复建设情况普遍存在，各应用系统的资源获取方式也是各图书馆自己定义，没有统一的接口规范，限制了图书馆应用系统间的互操作，阻碍了人们对数字资源的有效利用[1]。唯一标识符技术的出现在很大程度上解决了上述难题。数字资源的唯一标识符是数字资源的条形码[2]，通过对资源的唯一标识，不仅可以将采集、加工、组织、检索、服务以及保存等各环节中的数字资源进行统一编号和规范管理，实现资源的精确定位，同时也为全国图书馆之间的数据交换和应用系统之间的互操作提供了一种新技术。1国内外唯一标识符系统的研究现状分析目前，国际上主流的唯一标识符系统大多是采用Handle系统[3]或者是以Handle系统作为原型进行开发的。如美国国会图书馆在“美国记忆”的数字图书馆项目中，采用Handle来标识数字对象，在全球Handle注册中心独立申请了国会图书馆的一级命名授权“loc”，二级命名授权采用收藏部门的代码[2]。日本的内容标识符论坛是以Handle系统为底层支撑技术，独立开展了唯一标识符的研发和服务，通过嵌入式内容标识符与数字水印技术来保护知识产权和数字内容权益[4]。DOI系统[5]是在Handle系统基础上开发的，已在出版领域得到了成功应用[6]，成为国际科技期刊界的事实标准。近几年，新闻出版总署、科技部等都不同程度的开展关于数字对象唯一标识符方面的探索，在一定程度上推动了我国数字对象唯一标识符的发展[7,8]。万方数据、中国知网作为DOI的注册代理，已提供中文数字资源的注册及服务。清华同方[9]、重庆维普[10]等大型的数字资源生产商以及CALIS、国家科技图书文献中心、上海图书馆、中国数字图书馆有限公司[11]等机构都尝试在内部的数字对象管理中应用唯一标识符。但是国内唯一标识符建设主要应用于各自内部特定的资源和环境，各自拥有自定义的唯一标识符规则，无论在规范和软件支持方面，都没有成熟的解析体系，也没有形成规模[12-14]，唯一标识符应用主要分布在各个机构内部，没有开展有效的合作。国家图书馆自2002年启动“我国数字图书馆唯一标识符标准规范”项目以来，一直跟踪唯一标识符领域的研究进展，完成了国内外数字资源唯一标识符的应用调研。2008年，国家图书馆开始研制数字资源唯一标识符标准规范项目，形成《国家图书馆数字资源唯一标识符标准规范项目研制成果》，并于2010年出版著作《国家图书馆数字资源唯一标识符规范和应用指南》，明确了CDOI系统的建设规范，用于指导系统建设。CDOI系统于2012年12月进入试运行阶段，同时启动了系统的在各省、市图书馆的推广工作。2CDOI系统的设计方案2.1建设思路CDOI系统是国家数字图书馆工程的核心配套子系统，将贯穿数字资源的生产、加工、发布、服务以及保存整个生命周期，也为全国图书馆间应用系统的互操作提供技术支撑，因此该系统平台在设计上应兼顾各级图书馆的需求，充分考虑系统平台的安全性和稳定性。数据库应提供完善的容灾方案，保证数据库的高可用性，一旦数据库发生故障，应该能尽快恢复，此外数据库应采用高性能服务器，基于面向对象设计方式驱动，使用ORACLE作为后台数据库，支持大容量数据的高并发操作。应用系统应提供负载均衡策略，保证系统在负载较大的情况下，服务器也能做出快速响应。因此，CDOI系统应采用B/S结构，支持高负载、高性能、高并发，可多人在线进行唯一标识符注册和解析的应用系统。2.2系统功能需求图书馆与出版机构在数据来源上存在本质区别，出版机构属于资源生产单位，资源是唯一的，但是图书馆却截然不同，同一资源可能存在于多个图书馆，同一图书馆也可能存在同一资源的多个复本；此外，DOI系统因其商业化的运行方式，存在服务费用、数据安全以及权益分配等问题，不适用于国家数字图书馆数字资源唯一标识符系统的建设。因此，我国数字图书馆的唯一标识符系统应该自主研发，实现以下功能：（1）能够快速有效的接收各省、市图书馆上传的唯一标识符注册数据，能够对注册数据进行数据查重、校验，能够为各级图书馆提供便捷的唯一标识符注册服务；（2）能够对每个唯一标识符对应的对象数据URL地址进行管理，可以为全国各级图书馆提供高效准确的唯一标识符解析服务；能够为图书馆各应用系统的互操作提供技术支撑，为读者提供方便、快捷的知识定位服务。（3）能够对各省、市唯一标识符的注册数据进行统计，可及时掌握各省、市图书馆唯一标识符的注册情况，了解各省、市图书馆数字资源的建设情况，为各省、市数字资源的建设提供决策支持。（4）能够接收各省、市图书馆申请成为注册机构，能够为注册机构提供安全可靠的唯一标识符注册和解析服务；各注册机构能够及时将注册数据上传到国家数字图书馆进行集中，为唯一标识符业务的拓展和开发以及与其他系统的合作提供支持。2.3系统框架及功能描述综合上述系统建设思路以及需求分析的讨论，确定CDOI系统平台框架如图1所示。CDOI系统由唯一标识符注册、唯一标识符解析、注册机构管理、系统管理4个模块组成。根据图书馆实际工作需求，将系统划分为前台和后台两个子系统，前台子系统主要负责唯一标识符的注册和解析，集成了唯一标识符注册、注册数据管理、注册规则配置、元数据项配置、对象数据URL地址管理以及唯一标识符解析等功能；后台子系统主要负责系统的数据同步、注册机构管理、用户管理、日志管理和统计分析等功能。图1唯一标识符系统架构图CDOI系统作为一个底层基础设施，不仅可以满足核心系统各环节对唯一标识符注册和解析的需求，还要兼顾各注册机构管理和服务的需要，如图2所示。在资源生产与加工阶段进行唯一标识符的注册，唯一标识符一经生成，则会在核心业务系统的各子系统中统一引用；在资源发布与服务阶段对对象数据的URL地址进行补充和管理；检索应用系统通过本平台可以进行唯一标识符解析，直接获取对象资源。图2唯一标识符系统业务流程图3CDOI系统核心功能实现唯一标识符的注册、解析和数据同步是CDOI系统的核心功能，具体技术实现如下。3.1唯一标识符注册CDOI系统提供同步和异步两种方式注册唯一标识符，不仅可以手工单条注册、手工批量注册，还可以通过系统接口方式自动注册，同时支持多线程并发操作。唯一标识符注册的流程依次为：注册数据的整理和上传、注册文件的内容和格式校验、注册数据查重、生成唯一标识符、生成注册数据校验码以及反馈注册结果。唯一标识符的生成过程是注册流程的核心功能，如图3所示，系统根据用户信息获得注册机构代码，生成唯一标识符前缀；然后对注册数据进行格式校验和数据查重，成功后，系统根据资源种类、资源类型、资源颗粒度等资源信息和系统内部唯一号生成唯一标识符后缀；最后根据唯一标识符生成规则，由前缀和后缀组合生成唯一标识符。图3唯一标识符注册流程图由于大批量数据的查重会直接影响到唯一标识符注册的性能，如果对注册数据的内容一一比对查重效率非常低，为保证数据的查重效率，我们在唯一标识符生成之后，系统会对每条注册数据采用MD5技术进行数字签名，这样在数据查重时，只要对每条注册数据的MD5值进行比对即可。为建立唯一标识符与对象数据URL地址的关联关系，CDOI系统提供对象数据URL地址的增加、删除和修改功能。同时，CDOI系统还提供了对象数据URL地址的回写接口，其他应用系统可以调用该接口进行对象数据URL地址的自动回写。唯一标识符与对象数据URL地址关联以后，该唯一标识符才具有真正的意义，这样才可以实现唯一标识符注册的一个完整流程。3.2唯一标识符解析唯一标识符解析包括正向解析和反向解析。正向解析是直接查询唯一标识符定位对象数据URL地址，如图4所示，首先对前缀进行分析，如属于本服务节点注册的唯一标识符，则直接解析；否则向相应的服务节点提交解析请求并获取解析结果；如果所请求的服务节点在规定时间内无响应，则再向顶层服务节点发出解析请求并获得解析结果。反向解析是通过检索条件查询数据库反向获取唯一标识符，并返回查询结果，如果反馈结果为单条则直接定位对象数据URL地址，如果为多条则由读者进行选择。图4唯一标识符解析流程图CDOI系统可以实现资源的稳定定位，通过对资源进行唯一标识，不同地域的读者能够对全国范围内的数字资源实现透明利用。即使资源的对象数据URL地址发生变更，资源所有者只要在本系统进行URL更新，而资源的唯一标识符永久不变，可以保证数据在互联网上的稳定性。CDOI系统不仅可以解析符合本行业标准的唯一标识符，还在正向解析上兼容符合DOI标准的唯一标识符，公众可通过本系统解析任何DOI唯一标识符，此外CDOI系统还提供了开放性的解析接口供其他系统进行调用。3.3数据同步CDOI系统按照国家、省和市三层结构进行设计，最上层为顶层节点，由国家数字图书馆提供，管理n个分支服务机构，对各分支服务机构进行命名授权和管理，顶层服务采用星型结构由国家数字图书馆直接同步各子层图书馆的系统配置信息。省级图书馆作为二级服务节点，市级图书馆作为三级服务节点，各节点管理着本命名授权下所有唯一标识符的注册服务，系统通过分层模式逐层同步各省、市唯一标识符信息，省级图书馆对各市图书馆唯一标识符数据进行汇总后再统一同步到顶级节点。4CDOI系统的应用前景未来，CDOI系统将会在全国各省、市图书馆进行软件推广和复用，唯一标识符技术将会给传统图书馆和数字图书馆都带来极大便利。目前，图书馆正处在业务发展的转型期，传统图书馆与数字图书馆需要共存互补、有机融合，然而传统图书馆服务手段有限，服务方式单一，传统读者服务与数字图书馆服务还缺乏有效的整合，没有形成顺畅的服务信息链。通常情况下，传统图书馆需要读者到馆进行图书的借阅，不仅需要花费更多的时间，而且还会受到图书数量的限制，经常会借不到所需图书。目前，我们将纸本图书与电子图书进行关联，读者在网上进行图书借阅时，也可访问所关联的电子资源，直接在线阅读即可，无论从时间上、经济上都可以给读者带来极大的便利。此外，通过对全国图书馆数字资源进行唯一标识，形成唯一标识符数据库，各地方图书馆就可以直接定位和链接全国数字资源。未来我们可以通过高效的搜索引擎对全国数字资源进行集中搜索，对各图书馆对象资源分布式访问，实现全国数字资源的共建共享，不仅可以提高各馆资源的利用率，还可以带动全国各省、市数字图书馆的