【DA档案行业标准】 纸质档案数字复制件光学字符识别（OCR）工作规范

iiiKAa~cJouaKAa-
中华人民共和国档案行业标准
DA/T77—2019
纸质档案数字复制件光学字符
识别（OCR）工作规范
Specification for optical character recognition (OCR) of digitalcopies of paper-based records2019-12-16发布
国家档案局发布
2020-05-01实施
DA/T77—2019
iiKAa~cJouaKAa
本标准按照GB/T1.1—2009给出的规则起草。本标准由国家档案局提出并归口。本标准起草单位：国家档案局馆室司、青岛市档案馆。本标准主要起草人：刘芸、丁德胜、杨来青、邹杰2
1范围
iiKAa~cJouaKAa-
纸质档案数字复制件光学字符
识别（OCR）工作规范
本标准规定了纸质档案数字复制件光学字符识别（OCR）工作的组织、实施和管理。DA/T77—2019
本标准适用于字迹清晰、文本规范的纸质档案数字复制件的光学字符识别（OCR）工作。2规范性引用文件
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DA/T13—1994档号编制规则
DA/T22—2015
归档文件整理规则
DA/T31—2017纸质档案数字化规范术语和定义
下列术语和定义适用于本文件。3.1
character
供组织、控制或表示数据用的元素集合中的一个元素［GB18030—2005，定义4.1]
字符集
characterset
多个字符的集合。
注：常见字符集有ASCII字符集，GB2312字符集、BIG5字符集，GB18030字符集，Unicode字符集等。3.3
光学字符识别opticalcharacterrecognition；OCR通过信息技术对图像文件中的字符形状进行识别、文字转换和文本输出、呈现的过程。3.4
纸质档案数字复制件digitalcopyofpaper-basedrecord纸质档案经过数字化加工过程后形成的，存储在磁带、磁盘、光盘等载体上并能被计算机等电子设备识别的数字图像。
档案OCR成果
OCRoutcomeofrecord
记录通过OCR技术获取的纸质档案数字复制件文字内容的文件。3
DA/T77—2019
iiKAa~cJouaKAa
识别准确率recognitionaccuracy通过OCR技术识别正确字符的比率注：识别准确率－（识别正确字符数/应识别字符总数)×100%3.7
识别速度
recognition speed
单位时间内通过OCR技术识别字符的数量。4总则
4.1档案OCR应当纳入数字档案馆（室）资源建设范畴，统筹规划.有序实施，逐步实现常态化。4.2档案OCR应当科学开展，以有利于实现档案信息检索和计算机辅助编目、编研开发、数据挖掘为原则。
4.3档案OCR应当基于档案数字化工作，档案OCR成果与纸质档案数字复制件之间应建立准确、可靠的关联关系
4.4应当来取有效的管理和技术手段，加强档案OCR的过程管理和质量控制，确保档案OCR过程规范、成果可靠、数据安全。
4.5涉密纸质档案数字复制件的OCR工作，应符合涉密档案相关的管理和技术要求。5工作组织
5.1机构及人员
5.1.1应建立档案OCR工作机构，配备相应素质和技术水平的工作人员，组织开展档案OCR工作的统筹规划、组织实施、协调管理、技术保障、安全保障、监督检查、成果验收和长期保存等。档案OCR可与纸质档案数字化工作统筹配置工作机构和人员。5.1.2档案OCR工作实行服务外包的，应从企业性质、股东组成、安全保密、企业规模、注册资金情况等方面严格审查档案OCR服务供方的相关资质；从规章制度的建立健全程度等方面考查服务供方的管理能力，建立权责明确、覆盖工作全过程的监督机制和安全防范机制，确保档案信息安全。对外聘的工作人员，应进行安全审查，按规定进行保密教育。5.2流程控制
5.2.1档案OCR流程包括图像导入、图像预处理、比对识别、修改校正、成果整理输出五个业务环节。应依据相关技术标准，对档案OCR全过程进行有效控制：5.2.2应加强对档案OCR工作全流程的质量管理和安全管理，建立完善的质量、安全问题发现、修正机制，确保OCR成果质量和档案信息安全。5.3工作文件与元数据
5.3.1应建立档案OCR工作方案、技术方案、工作审批材料、流程控制材料、数据验收材料、项目验收报告、成果移交材料等的管理工作文件，采取服务外包的还应包括项目招标文件、投标文件、中标通知书、项目合同、保密协议、操作规程、监管记录等，加强对档案OCR工作的管理。5.3.2应参照相关标准，提出档案OCR工作流程中相关元数据设计、捕获、著录和管理的基本要求：与对应的纸质档案数字复制件管理过程元数据实施融合管理，并纳人数字档案馆（室）应用系统数据库。4
6方案制定
6.1确定工作策略
iiKAa~cJouaKAa
DA/T77—2019
6.1.1OCR工作开展前，应当依据纸质档案数字复制件OCR项目的计划、合同、招投标书等有关项目文件，对OCR工作的识别处理系统、网络系统、基础设施、保障能力等方面进行业务评价。6.1.2评价通过后，应根据以下因素，制定档案OCR的工作策略：图像资源：即符合导人标准的可识别的彩色（24BITS）、灰度（256阶）和黑白二值图像。一般应为TIFF、BMP、JPG、PDF（图像）、OFD（图像）格式文件。OCR引擎：对图像包含文字进行高速度和高准确率识别的OCR软件开发包。一OCR软件：装备OCR引擎的软件，可高速准确输出识别结果，支持人工比对和校正。应根据需要识别的目标，按照项自资源的成本风险平衡原则确定OCR的范围、质量、效率、技术等要求。
基础设施：支持系统运行的场所、设施和设备，包括OCR设备及工作间、介质的场外存放场所、备用的机房及辅助设施等。一专业技术支持能力：对系统的运转提供支撑和综合保障的能力，以实现系统的预期目标。包括硬件、系统软件和应用软件的问题分析和处理能力，网络系统安全运行管理能力，沟通协调能力等。
一运行维护管理能力：保障系统相关的设备和软件正常运行，提供长期、及时、全面的技术支持的能力。包括运行环境管理、系统管理、安全管理和变更管理等一一灾难恢复预案：对系统灾难实行快速、有效的响应和恢复。包括灾难紧急响应，灾后系统重建及重续运行，通信、后勤、技术等相关保障机制建设。6.2制定技术方案
应当根据确定的档案OCR工作策略制定OCR各工作系统技术方案，包含OCR的数据管理系统、OCR识别处理系统和网络系统。技术方案中所涉及的系统应满足如下条件：与档案管理系统相当的安全保护级别；一具有可扩展性；
一对档案管理系统无明显可用性和性能影响。6.2.2为确保技术方案满足档案OCR工作策略的要求，应对技术方案进行确认和验证，并记录和保存验证及确认的结果。按照确认的OCR软件技术方案进行开发，实现所要求的数据管理系统、OCR识别处理系统和网络系统。
6.2.3应按照经过确认的技术方案，制定OCR软件各阶段的系统安装及测试计划，以及支持不同关键业务功能的系统安装及测试计划，并组织最终用户共同进行测试。确认以下各项功能可正确实现：对识别图像进行预处理；
一数据识别及校验；
输出档案OCR成果：
数据安全管理。
7档案OCR的实施
7.1图像导入
7.1.1档案OCR实施前，应当先评估纸质档案数字复制件质量是否符合OCR的基本要求。评估内5
DA/T77—2019
iiiKAa~cJouaKAa
容一般应包括图像分辨率、偏斜度、清晰度、失真度、亮度、对比度、灰度等。7.1.2纸质档案数字复制件的图像分辨率应不低于200dpi。特殊情况下，如文字偏小、密集、清晰度较差等，可以适当提高分辨率。文件命名应符合DA/T13—1994、DA/T22—2015、DA/T31—2017的规定。
7.1.3对质量不能达到档案OCR工作基本要求的纸质档案数字复制件，应按照DA/T31一2017的要求重新数字化后导人。
7.2图像预处理
7.2.1二值化
7.2.1.1在识别处理前，应对彩色图像进行灰度化和二值化处理；对灰度图像进行二值化处理。应采取局部自适应二值化等算法，并支持自动或手动调节7.2.1.2应具备亮度和对比度值自动、手动调节功能。亮度和对比度值的设定以调整后的图像中文文字的笔画连贯清晰为准。
7.2.2图像降噪
7.2.2.1对图像中印刷体字符进行识别处理前，需要根据噪声的特征对待识别图像进行降噪处理，提升识别处理的精确度。
7.2.2.2降噪处理应去除在扫描过程中产生的污点、污线、黑边等影响图像质量的杂质，去除档案页面原有的纸张褪变斑点、水渍、污点、装订孔等影响识别的地方。7.2.3倾斜校正
7.2.3.1对图像进行识别前，应进行图像方向检测并进行自动水平或垂直倾斜校正。7.2.3.2应支持由用户指定图像倾斜的角度，采用相应的图像旋转算法进行手工倾斜校正。7.2.4图像监测
图像质量控制程序应自动检测图像处理质量。对无法达到质量要求的图像进行标注。7.3比对识别
7.3.1版式分析
对比识别前应对图像中的字符块结构进行版式分析，把图像中相似的版块信息划分到一起。7.3.1.1
如横排文本、竖排文本、表格、图形等7.3.1.2版式分析可采取多种分析方法，自动检测各版块类型，对图像内部区域进行逻辑归类，记录各版块的位置，存储版面信息。
7.3.2档案特征分析
7.3.2.1归档章分析。建立归档章式样库，自动识别图像中的归档章，并根据归档章样式，识别出字段位置，如全宗号、年度、机构、保管期限、件号、页数等。7.3.2.2公文要素分析。建立公文格式库，可准确识别公文的版头、主体、版记三部分，识别公章、签章等区域，比照公文样式，识别密级和保密期限、紧急程度、发文字号、签发人、标题、主送机关、正文、附件说明、发文机关署名、成文日期、附注、附件、抄送机关等公文要素。公文要素OCR识别要求见附录A。7.3.2.3表格分析。建立单独表格处理模块，建立专用表格模板定义工具，自定义文件处理单、发文稿纸、备考表等表格模板，识别表格中的字段位置iiKAa~cJouaKAa
DA/T77—2019
7.3.2.4印章分析。识别印章图像位置，存储印章图像，建立印章名称与印章图像的关系库，用于版式恢复。
7.3.3识别和匹配
7.3.3.1识别时应抽取字体、字号、粗体、斜体、首行缩进等字符特征，通过相似度计算方法，与特征数据库比对，识别为计算机文字内码，7.3.3.2特征数据库应存储多种印刷体字符、常用签名和批注手写体字符，具备可更新和可扩充性。对使用频率高的汉字、英文、数字以及常用的符号、常用签名和批注手写体字符应建立高频库。应将无法识别的手写体筛选出来，通过人工识别，并将识别结果存入字符库。7.3.3.3应通过将比对后的识别文字根据上下文在可能的相似候选字群中找出最合乎逻辑的字词对识别文字进行除错或更正，以提高OCR识别准确率。7.4修改校正
7.4.1应对识别的文本进行自动语义识别和校正，通过词汇库和语义库，对识别后文本中的字符、词汇、语句自动进行逐层分析更正。词汇库和语义库应具备更新和自动学习功能。7.4.2应对候选字、拒认字和可能有问题的字词、语句进行标记7.4.3应支持以人工方式对OCR结果进行图像与识别文字对照、修正等校正的功能，以满足更高识别准确率的特殊要求。
7.5成果整理输出
7.5.1成果整理
7.5.1.1支持按照纸质档案数字复制件的版式对OCR结果的段落和表格进行版面理解与重建。重建后OCR结果的段落编排、表格样式应与纸质档案数字复制件图像一致。7.5.1.2应自动分析、提取党政机关公文的各公文要素，包括密级和保密期限、紧急程度、发文字号、签发人、标题、主送机关、正文、附件说明、发文机关署名、成文日期、附注、附件、抄送机关等。档案OCR成果结果中各公文要素位置应与纸质档案数字复制件图像一致。7.5.1.3应支持调用、编辑、备份、导出OCR结果，支持对文字、符号的搜索等功能。7.5.2成果输出
7.5.2.1档案OCR成果应同时保存为纯文本形式和双层PDF/OFD文件形式。7.5.2.2应以纸质档案的件或页为单位输出、保存纯文本形式档案OCR成果。纯文本形式OCR成果保存规则参见表1：
表1OCR成果保存规则
纸质档案数字复制件保存形式
一件档案保存为一个文件
一件档案分组件（收发文处理单、正文、定稿等)保存为多个文件
件档案按页保存为多个文件
档案OCR成果保存形式
一个txt文件
一个纸质档案数字复制件文件保存一个txt文件
页保存一个txt文件
便于纸质档案数字复制件和OCR
成果管理
便于全文检索后原件页面的准确定位和呈现
DA/T77—2019
iiKAa~cJouaKAa
7.5.2.3应以档号为基础对纯文本形式档案OCR成果命名，命名方式的选择应确保档案OCR成果命名唯一性。一件档案保存为多个档案OCR成果文件时，应按档号结合OCR成果顺序流水号为档案OCR成果命名。
示例1：档号为A001-001-0001-0001的纸质档案数字复制件，对应的0CR成果文件名为A00100100010001.txt示例2：档号为A001-001-0001-0002的纸质档案数字复制件包含收文处理单、文件正本两个文件，对应的OCR成果文件名分别为A00100100010002_01.txt和A00100100010002_02.txt。7.5.2.4应根据纸质档案数字复制件版式文件格式，自动形成支持全文检索的双层PDF或OFD文件，方便全文检索后对文件的阅读。7.5.2.5应支持按照档案著录规则和电子档案元数据规范，自动保存档案OCR成果中的党政机关公文要素。相关公文要素应保存到数字档案馆（室）应用系统数据库。7.5.2.6应支持档案OCR成果中文简繁体的自动转换功能。7.5.3成果验收
7.5.3.1应采用计算机自动检验与人工检验相结合的方式对纸质档案OCR成果进行验收检验。7.5.3.2验收检验内容包括OCR成果、提取的党政机关公文要素数据挂接情况、OCR工作文件和存储载体等。
7.5.3.3能够采用计算机自动检验的项目应采用计算机自动检验的方式进行100%检验，对于无法用计算机自动检验的项目，可根据情况以件或卷为单位采用抽检的方式进行人工检验。抽检比率不得低于5%。
8档案OCR质量要求
8.1识别准确率
8.1.1档案OCR对档案中文、数字、英文印刷体的识别准确率在95%以上。8.1.2档案OCR对常用签名识别准确率达到90%以上，手写体识别准确率达到80%以上。8.2强抗噪能力
8.2.1档案OCR应当具备对噪点的强抵抗能力，识别过程中能够有效屏蔽较大程度的噪点干扰8.2.2档案OCR应能准确判别纸质档案数字复制件上的污点、污线、黑边、纸张褪变斑点、水渍、污点、装订孔等，提高识别准确率。8.3识别速度
8.3.1识别速度指标与识别准确率指标应同时适用8.3.2在主流计算机软硬件平台下，A4纸幅面中文识别速度不低于1000字/秒，英文识别速度不低于2000字/秒。
8.4版面还原度
8.4.1应实现复杂版面的精确还原.采用分栏技术，智能分析中文（简体、繁体）、英文字体，文、表、图混排文本，识别后无需人工干预，自动还原排版。8.4.2识别后的文档与原导入图像版面还原度应达到90%以上。8
iiKAa~cJouaKAa
档案OCR成果的管理与应用
9.1成果管理
DA/T77—2019
9.1.1应保持档案OCR成果各组成要素对应的纸质档案数字复制件、档案目录、元数据之间的逻辑层次和关联关系。
9.1.2以纯文本形式保存的档案OCR成果应使用档号作为文件名，可在存储载体中以档号为基础逐级建立层次文件夹单独保存，也可与纸质档案数学复制件统一保存9.1.3支持全文检索的双层PDF或OFD文件可与对应的纸质档案数字复制件统一存储。数字档案馆（室）应用系统应记录并维护不同文件版本之间的联系。9.1.4档案OCR成果文件管理权限应与纸质档案数字复制件相同。9.1.5OCR成果应与纸质档案数字复制件同步开展数据备份工作。9.2成果应用
9.2.1档案OCR成果应通过数字档案馆（室）应用系统实现全文检索，提高档案信息检索效率。9.2.2可发挥档案OCR成果提取的归档信息和党政机关公文要素的作用，辅助开展档案自动著录目录质量核查，以及纸质档案数字复制件挂接准确性核查等业务工作，9.2.3可利用档案OCR成果，结合数据挖掘技术开展数据分析、知识管理、词库建设等工作DA/T77—2019
iiiKAa~cJouaKAa-
（规范性附录）
公文要素OCR识别要求
公文要素OCR识别要求见表A.1。表A.1
公文要素
1.1份号
密级和保密期限
紧急程度
发文机关标志
发文字号
签发人
主送机关
附件说明
发文机关署名
成文日期
签发人签名章
抄送机关免费标准下载网bzxz
印发机关和印发日期
文件处理单/发文稿纸
起草人
签发人
起草时间
签发时间
阅办意见
2.6批办意见
办理结果
是否识别
公文要素OCR识别要求
识别要求
正常识别，识别结果辅助档案著录正常识别.识别结果辅助档案著录正常识别，识别结果辅助档案著录正常识别
正常识别，去除软回车，识别结果辅助档案著录正常识别，去除软回车
正常识别，去除软回车，表格基本符合原貌，单元格内文字内容完整正常识别，去除软回车
正常识别.自动拆分联合发文机关，识别结果辅助档案著录正常识别，识别结果辅助档案著录正常识别，去除软回车
正常识别去除软回车，表格基本符合原貌，单元格内文字内容完整正常识别，去除软回车
正常识别，手写体自动学习提高识别效率，识别结果辅助档案元数据记录正常识别，手写体自动学习提高识别效率，识别结果辅助档案元数据记录正常识别识别结果辅助档案元数据记录正常识别.识别结果辅助档案元数据记录正常识别，手写体自动学习提高识别效率，识别结果辅助档案元数据记录正常识别，手写体自动学习提高识别效率，识别结果辅助档案元数据记录正常识别，手写体自动学习提高识别效率，识别结果辅助档案元数据记录
小提示：此标准内容仅展示完整标准里的部分截取内容，若需要完整标准请到上方自行免费下载完整标准文档。