DA／T31-2005纸质档案数字化技术规范

纸质档案数字化技术规范DA/T31-20051范围本标准规定了纸质档案数字化的主要技术要求。本标准适用于用扫描仪对各种纸质档案的数字化加工处理。2规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。凡是注日期的引用文件，其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准，然而，鼓励根据本标准达成协议的各方研究是否可使用这些文件的最新版本。凡是不注日期的引用文件，其最新版本适用于本标准。GB／T17235.1连续色调静态图像的数字压缩编码GB／T17235.2连续色调静态图像的数字压缩编码GB／T18894?2002电子文件归档与管理规范ITU(CCITT)G3二值图像压缩算法ITU(CCITT)G4二值图像压缩算法DA／T18?1999档案著录规则档案管理软件功能要求暂行规定国家档案局档发[2001]6号3术语和定义下列术语和定义适用于本标准。3.1数字化Digitization用计算机技术将模拟图像转换为数字图像的处理过程。3.2纸质档案数字化DigitizationofPaper?BasedRecords对普通(黑色字迹清晰)的油印、铅印、胶印等印刷件或复印件纸质档案进行数字化及应用的过程。3．3数字图像DigitalImage表示景物图像的整数阵列。一个二维或更高维的采样并量化的函数，由相同维数的连续图像产生。在矩阵(或其他)网络上采样一连续函数，并在采样点上将值最小化后的阵列。3．4黑白二值图像BinaryImage只有黑白两级灰度的数字图像。它对应于黑和白的两种状态文字稿、线条图、指纹图等。3．5连续色调静态图像Continuous?toneStillImage以多于两级灰度的不同浓淡层次或以不同颜色通道组合成的静态数字图像。3．6失真度DistortionMeasure对档案原件进行数字化转换后，在同等测试环境下，数字图像与档案原件色彩、几何、压缩算法等差值。3．7可懂度intelligibility表示数字图像向人或机器提供信息的能力。3．8清除图像冗余或对图像近似的任一种过程，其目的是对图像以更紧凑的形式表现。3.9分辨率Resolution指单位长度内图像包含的点数或像素数。3.10TIFFTaggedTmageFileFormat标记图像文件格式。一种基于标记的无损（不丢失信息）压缩格式，用于在应用程序之间和计算机平台之间交换文件。因为它存储图像细微层次的信息非常多，图像的质量也得以提高，故而非常有利于原件为黑白档案的复制储存。3.11JPEGJointphotographicExpertsGroup联合照片专家组。一种丢失少量信息的压缩格式，尤其适用于屏幕和打印显示，支持所有主要计算机平台和Web浏览器。JPEG格式文件小，影像质量多数情况下均可接受。考虑储存空间及传输效率，原件为彩色的档案可迁此格式复制储存。4数字化基本流程纸质档案数字化的基本流程主要包括案卷整理、目录建库、批量扫描、数据处理、信息存储、检索利用等工序。4．1案卷整理对需要扫描的案卷进行适当整理，做出标识。4．2目录建库为数字化的档案检索而建立必要的目录数据库。4．3批量扫描按照档案数字化具体任务的整体安排按计划分批次进行扫描。4．4数据处理4．4．1对扫描图像进行校对，确保图像完整无误，并视需要对有问题的扫描图像进行纠偏、去污、拼接等技术处理。4．4．2对裸数据进行验收前的相应处理，包括文件的格式转换、逻辑分盘处理、添加说明性文件，以及数据的挂接、检验、上载、质量检查和备份。4．5信息存储根据不同的扫描图像选择适当数据格式、编码方式和存储介质对信息进行保存。4．6检索利用按用户需求提供检索利用。5案卷整理在批量扫描之前，按下述步骤对案卷进行整理，确保档案数字化质量。5．1分件5．1．1把同一案卷中的扫描件和非扫描件分开。5．1．2在扫描件中将大图、照片插入指示页，便于扫描工序批量扫描，实际图像放在图像处理时进行重扫，替换指示页。5．1．3填写《数据加工过程处理单》(见附录A)，对需要特殊处理的页，标识清楚。5．2分页对批量扫描前的档案进行页号、件号的标注。如在标注中与原档案中的件数、页号不一致，应以此为准。5．3拆卷去除档案中原来的装订物，以便后续扫描工作的进行。5．4装卷按档案保管要求恢复原装订。6建目录库6．1目录著录根据DA／T18确定档案著录项，并进行著录。6．2数据格式选择所选定的数据格式通用，应能直接或间接与DBF文件格式或通过XML文档进行数据交换。6．3目录输入将著录好的目录输入计算机内，建立机读目录数据库。7批量扫描7．1扫描方式纸质档案扫描可采用黑白二值图像和连续色调图像两种方式。7．1．1页面为单色文字的纸质档案，宜采用黑白二值图像扫描；页面为多色文字图像的档案文件，可采用连续色调图像扫描。7．1．2字迹清晰、不带图片的档案材料，采用黑白二值图像扫描；清晰度较差或带有图片的档案材料，可采用连续色调图像扫描。7．2分辨率选择7．2．1单色页面档案文件，扫描分辨率一般建议选择100~200dpi。7．2．2彩色页面档案文件，扫描分辨率可选择100dpi以上参数值进行。7．2．3大幅面档案文件，如工程图纸、报纸等尺寸超过A3的，可选用大幅面图像扫描仪(如A0)、大幅面数码平台、缩微照像后胶片数字转换，也可以采用小幅面扫描后的图像拼接。扫描分辨率应选择1OOdpi以上。7．2．4需要时可根据原件的清晰度适当调整扫描分辨率。如原件质量较差且尺寸较小，可适当提高分辨率；反之也可相应减少分辨率，增减的多少以扫描后图像按原尺寸显示后是否清晰为准。7．3特殊页面的扫描7．3．1粘贴页与表格对于粘贴折页，可用大幅面扫描仪扫描，或先分部扫描后拼接；对部分字体很小、字迹密集的情况，可适当提高扫描分辨率，选择灰度扫描或彩色扫描，采用局部深化技术解决；对字迹与表格颜色深度不同的，采用局部淡化技术解决7．3．2一般文本流程图采用适当的分辨率扫描及局部深化技术，确保文本流程图清晰。同时采用不同设备满足文本流程图的扫描工作。7．3．3插图采用高分辨率灰度或彩色扫描技术将插图与文字一起扫描，保证原来的页面布局和插图清晰。7．3.4照片对于页面中有黑白或彩色照片的文件，采用JPEG格式扫描，确保照片清晰度，同时可避免图像存储空间过大。7．4文件命名方式7．4．1建立文件夹扫描时文件夹的建立应按档案实体分级建立，其中的每一份文件也需要单独建立文件夹。7．4．2文件夹命名方法，以档案实体中的档号命名，一般为3位数，不足3位数的左边补“0”。8数据处理8．1图像处理8．1．1纠偏对扫描过程中出现的偏斜图像进行整体纠正，保证数字图像的偏斜角度小于1度。(图像偏斜不超过页面内半个文字)。8．1．2去污去除数字图像中影响可懂度的杂质。档案数字化图像的去污，应遵循在不影响可懂度的前提下展现原貌的原则。8．1．2．1局部去污，如去除黑边、污点。8．1．2．2整体去污，可一次性去除页面上的污渍。8．1．3拼接为保证档案数字化图像的整体性，对幅面分离的数字图像进行拼接。8．1．4校对8．1．4．1一次校对，检查扫描完的图像质量情况，对不合格的图像进行标记退回重新扫描。8．1．4．2纠错处理，根据一次校对中提出的诸如污渍、黑边、偏斜、图像质量等问题，结合《数据加工过程处理单》(见附录A)情况，对每份图像进行相应的处理。8．1．4．3二次校对，对一次校对及数据处理后的数字图像再次进行检查，并标记图像处理过程中不清晰的页面。不合格的退回重新处理。8．2数据质量检查8．2．1文字录入质量对录入域清单上所标明的各著录项的文字录入进行正确率控制，保证错误率低于3‰。8．2．2图像质量对纸质文件扫描后形成的图像文件进行清晰度、污渍、黑边、偏斜等问题的控制，以达到要求的图像质量。保证扫描后的数字图像清晰，便于清楚阅读，适应各种纸张和手写、印刷字的情况。8．3数据挂接档案条目数据与图像文件的对应准确程度的控制。在生成裸数据光盘之前，根据资料整理信息、扫描前的标引信息及卷内文件页号信息核查图像文件总数是否与实际文件数相等，如不相等则不能生成裸数据光盘，可打印出清单，回退给图像处理人员补扫。8．4数据检验8．4．1将裸数据进行验收前的相应处理，包括文件的格式转换、逻辑分盘处理、添加说明性文件。8．4．2对数据进行检验，给出合格或不合格结论。8．4．3将数字加工后的数据转换为裸数据光盘格式，拷贝到活动硬盘上。8．4．4系统应自动记录检验进度。8．5数据上载档案数字化各工序的数据通过网络及时上载到数据服务器端汇总，其中数字图像自动搜索对应的目录数据，加入对应的电子地址数字图像文件名，建立起一一对应的关系。8．6数据备份定期对服务器的各类数据进行备份，防止数据丢失。9信息存储以JPEG数字压缩编码或TIFF国际通用标准格式。采用国际标准的传真文档压缩格式压缩后，分别按页编号后分页存储。数字图像的存储管理应保持原纸质档案的保管模式对应存储。9．1压缩存储格式档案数字图像格式采用TIFF和JPEG数字压缩编码。9．1．1黑白二值图像黑白二值扫描图像文件采用TIFF（CCITTG3）格式二值图像压缩算法，压缩率就绪（Cr)为15：1。也可采用TIFF（CCIFFG4）格式二值图像压缩算法，压缩率(Cr)为3O：1。9．1．2连续色调静态图像连续色调静态图像采用JPEG数字压缩编码，平均压缩率(cr)为15：1。9．2编码方式应尽是采用实时操作性强的编码方式。失真度编码，用较少的比特率获得较好的图像质量；无失真编码，以低压缩保持信息的不失真。一般情况下宜采用国际通用编解码算法。9．3存储方式与载体可选用在线和离线、不同载体进行存储。10检索利用10．1检索利用方式档案数字图像检索利用可采用单机、局域网和互联网三种方式。局域网中传输利用，应保证数据在内部局域网10Base?T带宽下，平均1秒内显示响应完成。互联网中传输利用，互联网56Kbit／s带宽下，平均5秒内显示响应完成。为此要求一般每页档案数字图像的存储容量为50K以内。10．2检索软件配置检索软件应符合国家档案局制定的《档案管理软件功能要求暂行规定》的各项要求。检索软件应具备目录检索与档案数字图像方便调阅的基本功能。