利用FME-实现数据质量检查

数据质量检查2014.4数据来源于生产；生产数据时需建立统一的规定或规范，使最终数据满足需求；实际生产过程中，由于主观或客观因素，不可避免存在数据错误或矛盾，导致最终成果或多或少存在数据质量问题。为了控制数据质量，确保成果的正确性，在生产过程中或生产完成后需要对数据进行质量检查，通过数据质量检查及时发现数据中存在的问题。一、数据质量检查的提出几何问题线、面自相交微小面微短线要素超出图幅的合理范围……属性问题必填属性为空属性值超出规定的值域……二、常见数据质量问题数据无法入库拓扑分析有误统计分析有误……导致三、数据质量检查手段检查手段优点缺点传统人工检查可控性；交互性好；完成部分程序难以实现的功能；效率低；检查结果依赖于检查人员的经验；数据质量检查软件自动化；高效率；检查标准统一；支持的数据格式有限；需求变化时，软件适应性低。四、使用FME进行数据质量检查四、使用FME进行数据质量检查核心——转换器流程收集、分析数据生产标准分析数据分析检查项制作检查模板集成应用数据格式，数据内容数据预处理要素信息提取检查要素过滤功能检查模块检查发生错误的要素定位错误发生的具体位置错误输出错误要素输出错误标示输出模板结构空间数据质量检查自相交检查微小面检查（微短线检查）面压盖检查点面关系检查（点在面内，点在面外）属性数据质量检查图层命名检查属性结构检查属性值域检查培训内容Demo1-自相交检查检查线的自相交Demo1：\demo\自相交检查\自相交检查.fmw转换器GeometryValidator自定义转换器SelfIntersectorInspect_Line自动修复SelfIntersectorInspect_LineDemo2-微小面检查检查内容检查极小面积值的面要素。转换器AreaCalculatorTester自定义转换器SmallAreaInspectDemo2：\demo\微小面检查\微小面检查.fmwDemo3-面压盖检查面相交面包含检查面面之间是否压盖。面相交检查面重叠检查面包含检查Demo3：\demo\面压盖检查\面压盖检查.fmw转换器AreaOnAreaOverlayer自定义转换器AreaOverlapDetect自定义转换器——AreaOverlapDetect点在面内点要素不应该落入面要素的情况点在面外点要素应该落在面要素中而没有落入的情况Demo4：\demo\点面关系检查\点面关系检查.fmw转换器PointOnAreaOverlayerDemo4-点面关系检查Demo4-点面关系检查检查成果中是否存在非标准图层或缺少图层Demo5：\demo\图层命名检查\图层命名检查.fmw学习Schema读模块转换器FeatureMerger配置文件的使用Demo5-图层命名检查Demo5-图层命名检查检查图层属性结构定义的正确性。标准中定义的属性是否存在Demo6：\demo\属性结构检查\属性结构检查.fmw学习Schema读模块的应用扩展属性命名正确性检查Demo6-属性结构检查Demo6-属性结构检查检查要素指定属性的属性值是否在规定范围内。Demo7：\demo\属性值域检查\属性值域检查.fmw学习AttributeDereferencerDemo7-属性值域检查Demo7-属性值域检查扩展应用待查数据格式为其他数据格式时，如何转变部分检查项的处理？属性检查项，学会schema格式的应用。其他数据格式是否有特殊处理？不同数据类型时，要考虑数据的特点。单个模板进行合并适合检查项固定且检查项数量较少的情况；利用开发进行封装CS质检系统提供界面供其他人更方便的使用质检五、模板的集成应用结合FMEServer将模板转变为在线应用FMEServer结合开发还可以做在线的质检系统五、模板的集成应用多格式支持FME支持300多种格式，无数据格式限制的忧虑；多数据类型支持地形图、规划数据、国土数据、天地图数据等；行业局限性小；检查项可灵活扩展灵活增加或删除检查项；检查项独立，相互之间不受影响。特点答疑/交流