工程图纸矢量化发展现状报告

1报告内容研究意义发展现状基本技术问题现有技术手段未来可能的着力点2研究意义工程图是工程技术人员描述设计的对象、表达设计思想的主要工具。现有的工程图纸是长期以来人类智慧和劳动成果的结晶，据国际数据与文档管理杂志估计，在全世界现有的80亿张工程图纸中，超过85%以上是人工绘制的。但是，现在工程图纸绘制的技术主要是使用计算机来进行绘制，使用CAD技术。3在大多数领域，成功使用过的工程图纸就是一种宝贵的技术储备资源，除了应用于当时工程的指导，也是以后对产品进行再设计、维护，以及对于提高产品设计质量、降低设计成本及缩短产品设计周期具有不可估量的作用。CAD技术可以极大地提高图纸的生产和使用效率，当我们想像使用CAD技术那样来高效地利用以前的手绘图纸时，这中间需要一个转化技术，以及一些更加智能的帮助[1]。4发展现状从80年代中期起，很多工业发达国家就开始着手图纸输入这一工作。起初方法是应用某种CAD系统通过人机交互重画一遍所有的蓝图，这样可以使得图面美观统一，尺寸比例准确。但是这种方法效率很低，绘制价格昂贵，工作既繁琐又枯燥无味，造成人力物力资源的浪费。5近若干年来，CAD技术在工程设计领域得到普及性应用，从而使工程图纸矢量化技术的研究进入高潮。目前国外己经出现了一些商品化的矢量化软件，比较著名的有德国Softelec公司的VPStudio／VPRasterPro，Able公司的R2V，挪威Rasterex公司的RxAutolmagePro2000，，华中科技大学的EDIS软件、清华大学的ANNO等。这些软件在一定程度上可以进行图纸的矢量化，但是它们通常都是针对某种专业图纸，如机械图纸、电子图纸或地图等，而且矢量化的准确率也不是很高，例如对于交叉点多而复杂的图纸，软件自动跟踪时可能会出现错误走向。6基本问题图像获取与处理图纸图像的矢量化基本图元和文字符号的识别工程图形的2D理解面向工程图形的二维重建7工程图纸识别的基本过程预处理矢量化图文分离图形识别图形重建8图像的获取与预处理由于工程图纸一般较大，所以大多数情况下使用扫描仪扫描工程图纸，最后将位图格式的文件保存到计算机中。图像预处理的质量直接影响到后续工作，但在这个领域，技术相对成熟，根据工程图纸的特性主要用到的图像处理技术是消蓝处理（滤色）、图像去噪，边缘提取。9由于工程图纸在存放的过程中容易产生褶皱等损坏，图纸上难免会出现一些非绘制的图像元素，使用高斯滤波，中值滤波，以及数学形态学的方法都可以在一定程度上消除噪声，改善图像质量。由于工程图纸的特性，在矢量化之前，经过边缘提取处理的图像最接近于矢量图，也最容易进行矢量化处理。这里实用的方法主要有Canny、Sobel、数学形态学、频域变换（傅里叶、小波等）等方法进行处理[2]。10图纸图像的矢量化[3]基于细化的矢量化方法基于轮廓匹配的矢量化方法基于邻接图的矢量化方法正交方向搜索法11智能算法在控制工程领域中有比较成功的应用如模糊控制、遗传算法、人工神经网络等，表现出非常好的鲁棒性、自适应性以及灵活的可扩展性。在矢量化的过程中可以处理较复杂的情况。模拟人工读图的的方式来进行矢量化的过程可以使机器具备一些“常识”，先从整体上把握图纸的宏观特征然后由粗到细由拓扑结构到具体线型准确有效地把握图纸中各类线型之间的相互关系直接从图像中提取出各类图元[4]。12图文分离技术图形虽然是工程图纸中最为重要的信息，但是如果缺少了一些必要的文字描述，工程图也将变成不可理解的图像，也无法用于工程指导。这其中主要有图源，图纸类型标注，作者，尺寸标注，材料标注等。这些文字描述，对于快速使用工程图纸进行生产、修改、产品维护、查询等起着至关重要的作用。工程图纸自动化识别中有必要使用OCT技术将工程图标的信息提取出来[5]。13工程图形2D重建图形经矢量化处理后，图素的尺寸和图素间的拓扑关系都会产生一定误差，为了使识别结果与各种CAD软件绘制图形的效果相近，提出对矢量图实施“二维重构”。包括两部分[6]：图形结构拓扑校正图形轮廓的精确尺寸校正14工程图纸二维重建的前提是基本图形元素的识别，基本可以分为两大类[7][8][9][10]：基于统计的方法和基于知识表示的方法。大多数基于统计的识别方法，图形对象的特性是被事先定义的，然后设计一个使用边界判定的分类器来进行空间特性的决策。最典型的是模版匹配方法。基于知识的识别方法，是将图形对象表示为一些知识，比如规则或语法，依此来对图形对象识别。对具代表性的是知识结构表示与推理和知识语法的方法。15图素的拓扑类型直线图素与其他类型的拓扑关系圆弧图素与其他类型的拓扑关系根据现有的两大类识别方法，以及工程图纸本身拓扑关系约束的特点。统计类识别方法较适合用于数目多，结构简单的工程图识别。知识表示方法，由于知识推理方便，易于表达拓扑约束关系，在图形对象多而复杂的情况下较适合。16图形拓扑关系表示的中不乏有各种新意的表示方法，但是使用最多也是最有效的表示方式就是使用图。工程图纸本身就是一张图，而且图纸当中很多的图形基元或整体相对于基本图元（直线、圆弧、圆、工程标注符号）就类似于一张有着很强拓扑关系的图。所以用图来表示工程图纸中的基本图元是目前最流行的表示方法。而且在CAD绘图中，基本的绘制操作（除了图元的修改）都非常类似于对图这种数据结构的操作。17将工程图中的每个图素作为“图”的顶点，两个顶点之间的关系可用弧来表示，屠苏见的拓扑关系用权值来表示，将其数值化。根据事先定义的图素间关系来选择有向图或无向图。图的储存一般使用邻接表[6]。18图素的拓扑关系表示模型是一种动态表示模型，一般对该模型进行如下操作[6]：添加结点：图素增加，添加结点，并添加该节点所对应的关系。删除结点：图素被删除，减少结点，并在与其有拓扑关系的表中删除该结点。查询：在带权图的中找到该图素对应的结点，并提取该节点对应的邻接表。结点拓扑关系修改：当拓扑关系变动时，对图素结点的邻接表重写，及向与改图素有拓扑关系的其他图素的邻接表中添加该图素结点。19拓扑校正处理有了前面拓扑关系的正确表示，依据识别结果，对图形对象进行矫正[6]。主要方法有：剪切和延伸平移和扩展归并20尺寸校正处理[6]这一阶段的前提也是正确识别尺寸标注线。在工程图纸中的尺寸有各种类型，如水平尺寸，斜向尺寸，直径尺寸，角度尺寸。尺寸标注的结构相对简单，都是矢量箭头和表示尺寸的字符组成，同时很多情况下，尺寸标注，尤其是长度的表示，有很强的层次关系。所以可以采用树类数据结构来保存。每个方向的尺寸可以构成一颗树，所有方向的树可以构成森林。从而解决不同视图间尺寸表达一致的的问题21树的根节点为与根节点相连的叶子节点的尺寸基准，树的每个节点都以他的父节点的一个尺寸界线作为它的基准。校正时，都是以基准所在的一段为固定端，而一零一段为活动端，保持固定端不动，校正活动端到相应的位置。其中主要过程有生成尺寸树，确定约束域，定义约束属关系，图形元素及尺寸标注的精确位置校正。22相关工作1[11]来自印度的学者SekharMandal采用了比较系统的图像处理方法来进行工程图纸的重建，具体流程如下：1.使用OCR类软件将图中所有字符探测出，进行图文分离工作。2.使用Canny边缘提取算法，将光栅图中所有的轮廓表示出来，二值化处理之后就将整幅图的骨架细化出来。233.采用数学形态学中的开启运算来提取特定方向的的图形元素；采用1×4的结构元素来提取水平线段，4×1的结构元素来提取垂直线段用原图将提取出来的两幅图减掉，就可以得到其他任意方向上的线段和弧线。4.采用链式码（行程编码）的方式将图中的所有点阵图表示出来，使用和弦特性将图中所有的直线判断出而且所有的弧线被当成是多个小线段组成，记录线段的拐点。提取后的水平线段提取后的垂直线段245.利用链式码信息来构建矢量格式图。然后，根据两线段之间相间距离的关系来判断两条直线是否属于原来同一直线的两条边缘，设定阈值进行判断如果两条直线满足阈值限定，就将两条线段间的部分进行填充，从而进行矢量图的重建。重构图形的阈值化判定过程以及重构线宽信息25相关工作2.1[7][8][9]识别领域比较有代表性的工作就是香港城市大学——刘文印使用基于知识表示的识别方法。首先，在预处理阶段，使用开源软件Res2Vec进行矢量化，然后使用阈值去噪的方法清除被判断为噪声的小短线。其次，定义了四种拓扑关系，分别为直线的相交、平行、垂直（不相交）以及弧线与直线；分别都有精确量化了的参数来表示。26再次，提出了一种属性树的知识表示方法；同时，提出了KAA(KnowledgeAcquisitionAlgorithm)——用于知识提取与表示和KGRA(KnowledgeGraphRecognitionAlgorithm)用于知识推理与识别。KAA的基本流程如下：27KAA算法描述：输入：组成图形对象的向量集(用户提供的示例)。输出：图形化知识（一颗储存着每两个结点间的几何约束关系和访问顺序的树）流程：1.提取所有的相交几何约束关系同时构造属性树G(V,E);2.如果G是连通的，转到第6步；3.将G分割成G1，G2，G3……Gn颗连通的子树；4.搜寻节点间可以将字数连接起来的平行和垂直关系；5.如果上述关系找到了就将它们加入G，同时转到第2步，否则停止（F）。6.加入弧线和圆的拓扑关系到图中；7.在G的基础上构造生成树ST，用广度优先的原则遍历ST，获取约束顺序K(c1,c2……cn)；8.停止(S)，同时将G和K作为这种对象的知识储存到知识库中。28由于在识别过程中不可能将向量和已有的知识表示100%的匹配，所以定义了关于直线和直线，弧线和弧线以及由直线构成的类弧线之间的相似因子的定义。KGRA算法描述如下：输入：SV：向量集（构成待识别对象的向量集）KD：知识库TL：阈值集，其中包含了长度和数量的容忍范围变量：CT：识别过程中临时构造的的树SM：标识集（用来标识识别过程中被使用过的向量）输出：RR：识别结果——用SV来表示的图形对象的类型。29算法过程：1.从KD当中选择知识树K，如果所有的知识都已经试验过就停止（F）2.清空CT，初始化SM3.从SV中选择下一个向量V，要求这个V实在没有在SM中被标注的。加入V到CT中作为根；同时，将V在SM中标注，表示V已经在识别过程中使用过了。4.从遍历顺序K中选择下一条边E。如果所有的边已经被访问过了，而且冗余向量的个数没有超过容忍限度，就停止（S），同时将RR标示为由当前K来指示的对象类型5.否则，将V标记为以E为边的父节点，使用V和E来计算V’6.搜寻V”，在空间上沿着两个方向搜寻，使用TL中的容忍限度来检测在SV中与V’相似的向量。7.如果V”找到了，就将它设为CT中V的子节点，在SM中将V”标记为已使用过，同时转到第4步8.如果没有找到V”，而且向量的缺损数量超过了容忍的范围，就转到第1步，否则转到第4步30由于目前完全由计算机进行识别还不能达到较高的精度和理想的理解结果，往往在经过一些几何变换（尺寸、方向、图层交叠等）之后，就不能得出很好地识别结果。这时需要用户交互的来审查正确、错误、遗漏这样的识别结果。给出新的指导来引导知识库的更新；知识库的更新，最直接的体现就是对其中阈值库（或容忍库）中关于长度、角度、向量个数的阈值范围进行动态的调整。在用户给与反馈之后系统将根据，正确识别保持原有阈值，遗漏识别更新阈值，错误识别被忽略掉的原则进行阈值调整。这样就是整个系统形成一个闭环反馈来提高系统性能。31相关工作2.2[10]清华大学的——郭田田，在刘文印工作的基础上进行了进一步的发展[16]。主要创新点如下：1.把注释作为一种新的基本图素，由此主要图素分为三大类：直线、弧线和文本；并且由此定义了五种拓扑关系：直线相交、直线平行、直线与圆弧、直线与文本、圆弧与文本。2.在知识提取和识别的阶段都设置了优先级，优先级概念的引入提高了知识提取和识别的效率。在知识提取阶段，按照统计数据显示，按照直线相交-直线平行-直线与圆弧