数字图书馆评价指标体系

数字图书馆评价指标体系赵悦/申晓娟/孙一钢2012-10-2815:01:28来源：《数字图书馆论坛》(京)2011年7期【英文标题】DigitalLibraryEvaluationIndicatorSystem【作者简介】赵悦(1974-)，女，图书馆学硕士，国家图书馆中文采编部，副研究馆员，E-mail：[e-mail]，北京100081；申晓娟(1970-)，女，武汉大学信息管理学院2009级博士生，武汉430072，国家图书馆研究院副院长，副研究馆员，E-mail：[e-mail]，北京100081；孙一钢(1961-)，男，国家图书馆馆长助理，研究馆员，E-mail：[e-mail]，北京100081【内容提要】文章在对国内外数字图书馆评价指标进行分析的基础上，介绍了数字图书馆评价指标体系的构建目的及原则，提出了一套数字图书馆评价指标体系框架，并分析了评价指标体系应用的相关问题。Onthebasisofanalyzingthedigitallibraryevaluationindicatorsfromdomesticandabroad,thispaperreviewsthepurposesandprinciplesofconstructingdigitallibraryevaluationindicatorsystem,presentstheframeworkofdigitallibraryevaluationindicatorsystem,andintroducestheuseoftheevaluationindicatorsystem.【关键词】数字图书馆/评价/指标/体系Digitallibrary/Evaluation/Indicator/System数字图书馆作为基于网络环境的一种新的信息资源组织与服务方式，自20世纪90年代以来，在世界一些主要发达国家，乃至发展中国家都取得了长足发展。我国的数字图书馆当前也正处于快速发展阶段，一些重要的国家级数字图书馆，如国家数字图书馆、国家科学数字图书馆、中国高等教育数字图书馆、中共中央党校数字图书馆、中国农业数字图书馆等，都正在建设或服务过程中。在建或服务中的行业性、地区性数字图书馆项目更是如雨后春笋。尽管各国政府都对数字图书馆投入大量人力、物力和财力，但是数字图书馆在很大程度上仍然无法满足用户的信息需求。数字图书馆建设者、开发者及数字图书馆服务提供者与用户之间存在着认知和理解的差异，这种差异造成用户在使用数字图书馆时无法获得有效服务，导致数字图书馆的效用受到制约。数字图书馆评价提供了这样一种方法、手段和机会，使数字图书馆的设计者、操作者和用户能通过评价来达到有效的沟通，以取得对数字图书馆理解的相对一致性，使数字图书馆具有更强的可用性，能更好地为用户服务，提高数字图书馆有效性。对数字图书馆评价的研究可以为数字图书馆系统工程的开发和部署提供决策参考，有助于检验一个数字图书馆为其用户提供的服务效用如何，从而引导数字图书馆的建设及其健康发展。1国内外数字图书馆评价项目及其评价指标与数字图书馆建设实践相比，数字图书馆评价方面的研究与实践还不够成熟。从目前现状来看，对数字图书馆进行全面系统的综合评价研究的项目并不多，大多是从电子馆藏、电子资源使用、电子资源服务等方面对数字图书馆建设的某一领域进行评价研究及实践。1.1国外项目及评价指标国外数字图书馆评价方面的成果主要集中在研究项目和标准规范两大方面。研究项目方面具有代表性的主要有以电子资源及其使用评价为主的E-Metrics项目、以数字图书馆服务质量评价为主的DigiQUAL项目、以电子服务绩效评价及评价工具为主的EQUINOX项目等；标准规范主要有ISO2789﹕2006《信息与文献国际图书馆统计》(其中附件A是电子图书馆服务使用评价)以及COUNTER网络电子资源在线使用统计等。(1)E-Metrics项目E-Metrics项目，即电子图书馆评价项目，是2000年美国研究图书馆学会(简称ARL)启动的，旨在建立一套研究图书馆的电子资源及其使用的科学测度指标体系。E-Metrics项目的评价指标分为5类，共设置20个评价指标，其中包括17个统计指标和3个绩效指标。见表1[1]。(2)DigiQUAL项目DigiQUAL项目是在SERVQUAL、LibQUAL+的基础上发展起来的。SERVQUAL是一套应用于各类服务性机构的用户满意度测评体系，包括指标和方法；LibQUAL+是ARL对SERVQUAL进行“图书馆化”修正研究而形成的对于传统图书馆服务质量进行评价的体系方法；而DigiQUAL是ARL为评价美国国家科学数字图书馆(简称NSDL)而开展的对数字图书馆服务质量评价进行研究的项目。该项目经过试验确定了评价数字图书馆服务质量的3个维度12个主题。3个维度是服务效果(effectofservice)、信息控制(informationcontrol)、数字图书馆环境(libraryasplace)；12个主题是可获取性(accessibility)、导航性(navigability)、互操作性(interoperability)、馆藏建设(collectionbuilding)、资源使用(resourceuse)、评价馆藏(evaluatingcollections)、数字图书馆用户社区(DLascommunityforusers)、数字图书馆开发者社区(DLascommunityfordevelopers)、数字图书馆评论者社区(DLascommunityforreviewers)、版权(copyright)、联邦作用(roleoffederations)、数字图书馆可持续性(DLsustainability)[2]。(3)EQUINOX项目EQUINOX项目，即欧洲图书馆绩效评价和质量管理系统项目，是针对欧洲图书馆发展和利用新的网络及电子资源的现状，基于传统评价，在质量管理的框架内开展的研究工作，项目包括两部分内容：一部分是设计一套用于普通复合图书馆电子服务绩效评价的指标体系：另一部分是设计一个用于质量管理与绩效评价的软件工具，图书馆可以将有关实际绩效和操作的原始数据输入系统，该系统利用这些数据可以计算出图书馆的绩效指标及预定目标的完成情况。EQUINOX项目的图书馆电子服务绩效评价指标的设计目的是为了加强和完善ISO11620《信息与文献图书馆绩效指标》中传统图书馆服务的评价指标体系，以适应网络环境下图书馆对电子服务绩效评价的要求。项目最初形成的图书馆电子服务绩效评价指标体系包括34个指标，进一步的研究讨论认识到这些指标中的一部分归入ISO11620标准中定义的传统指标更合理，还有的一些指标由于可获取性很差也被去掉了，最后于2000年12月形成了由14个指标组成的图书馆电子服务绩效评价指标体系。见表2[3]。(4)ISO2789：2006附件AISO2789：2006《信息与文献国际图书馆统计》附件A：电子图书馆服务使用评价，主要是针对图书馆传统服务以外的电子服务的统计及评价，定义了电子图书馆服务的各种形式、电子信息资源的各种形式、电子服务利用的各种形式。内容包括电子馆藏的评估(Measuringtheelectroniccollection)、利用评估(Measuringuse)、电子服务(Electronicservices)、电子服务利用(Useofelectronicservices)、数据调查(Surveydata)等几大方面。(5)COUNTER网络电子资源在线使用统计COUNTER网络电子资源在线使用统计是由图书馆界、出版界和中间商共同发起的研究项目，其目的在于为在线信息服务商和用户提供可靠的、一致的、兼容的使用统计标准和方案。COUNTER目前已先后发布了“期刊和数据库实施规范”及“图书和参考资料实施规范”。《COUNTER期刊和数据库实施规范》(第二版)规定了期刊的4个使用报告及数据库的3个使用报告。即期刊报告1：每月、每种期刊成功的全文请求量：期刊报告2：每月、每种期刊被拒绝的全文请求量；期刊报告3：每月、每种期刊、每种页面类型的各项请求与被拒绝量；期刊报告4：每月、每个集合的总的检索次数，包括被保存的、被修改的，以及检索结果为零的检索次数；数据库报告1：每月、每种数据库的总的检索及会话量；数据库报告2：每月、每种数据库的被拒绝请求量；数据库报告3：每月、每个集合的总的检索及会话量。《COUNTER图书和参考资料实施规范》(第一版)规定了出版商必须提交的6个使用报告，即图书报告1：每月、每个题名成功题名请求量；图书报告2：每月、每个题名成功章节请求量；图书报告3：每月、每个题名拒绝请求量：图书报告4：每月、每种资源拒绝请求量；图书报告5：每月、每个题名总检索和访问量；图书报告6：每月、每种资源总检索和访问量[4]。从以上几个研究项目及标准规范设置的评价指标可以看出，国外比较注重资源及其服务方面的评价，大多数评价项目及其指标都是基于此来设计考虑的。各项目或标准的评价指标设计比较实用，不只是理论上的探讨或是理想化的设计，定量与定性评价相结合，有些项目已充分考虑了数据的获取和分析，具有很强的操作性。1.2国内项目及评价指标国内学者对数字图书馆评价的研究近年来也取得了一些成果，分别提出了一些评价标准及指标体系，但大多还局限在理论研究层面，进入可操作层面的研究成果较少，尤其是缺乏系统的对大型数字图书馆建设的综合评价以及对多个数字图书馆建设的比较评价研究。国内研究成果的评价指标设置一般较为全面，但对指标获取、数据分析等方面研究不够，这也导致了评价指标缺乏可操作性。王海娟在《数字图书馆评价指标体系初探》一文中提出了将数字图书馆评价指标体系分为馆藏、技术、服务、管理四个方面，并提出了具体的评价要素和指标。馆藏评价包括馆藏自身情况(丰富性、可靠性、持久性、适用性、特色化)、馆藏组织情况(组织方式多样化、组织工具多样化、元数据的标准化、元数据的详尽程度)、馆藏管理情况(更新速度、资源整合能力、可持续发展能力)；技术评价包括系统技术(网络通信能力、安全性、互操作性)、信息检索技术(检索性能、检索技巧)、用户服务技术(用户操作技术的全面性、多语言支持能力、个性化服务能力)、界面设计(美感度、友好程度、导航功能)；服务评价包括服务范围、服务质量(信息检索效果、参考服务水平、服务的可获取性)：管理评价包括版权管理、标准化管理、合作与共享管理、经济效益管理、人员管理[5]。常春在《数字图书馆项目评价研究》一文中提出了从用户角度、资源角度、系统角度、管理角度的数字图书馆项目评价的主要内容。从用户角度评价内容包括用户服务偏好、用户资源偏好、用户查询信息目的、网站日志分析、用户满意度、用户对评价的数字图书馆的认知度、目标用户使用率、用户动摇率、用户培训投入、多语言支持能力等；从资源角度评价内容包括资源规模、资源采购的经济性、资源对领域的覆盖率、资源质量、更新速度、知识挖掘深度、知识组织整合与揭示、资源的实用性等、数据格式的标准性、资源平均使用率、资源发展投入；从系统角度评价内容包括用户界面的易用性和美感度、系统的互操作性、系统响应时间、同类网站比较、系统实现和维护的标准化程度、系统运行的安全性、资源的保存技术、资源的检索技术、虚拟参考咨询运行情况、馆际互借实现情况、联合目录查询功能、系统服务器等硬件设备评价、系统设备投入、资源灾害保护等；从管理角度评价内容包括项目人员设置、知识产权的使用和保护、标准规范的遵循与建立、合作与共享的规划、用户人均服务成本、用户培训计划和实施、用户意见反馈机制、管理档案是否规范、管理成本投入、经费管理等[6]。刘炜等人在《数字图书馆评估研究》一文中提出了“数字图书馆评估指标体系大纲(一、二级)”，按照数字资源、服务、管理和用户感知四方面的测度，给出了一、二两级指标的简单说明。数字资源方面的一、二级指标包括二次文献数据库数量(自建二次文献数据库