倾斜摄影测量与三维城市建模(武汉大学-江万寿-肖雄武)

倾斜摄影测量与三维城市建模江万寿肖雄武武汉大学测绘遥感信息工程国家重点实验室2016.05.27沈阳倾斜相机与多角度影像DA实验室购买的SWDC51个下视相机：传统正直摄影4个倾斜相机：解决不同角度墙面的影像获取问题SWDC-5:中国测绘研究院刘先林院士团队研制5镜头倾斜相机的特点视角多、影像多、数据量大多个角度反映地物情况提供建筑物侧面纹理不同视角影像变形大：连接点提取问题幅面较小，同视影像基线较短：匹配噪声问题倾斜影像三维建模的路线图倾斜影像空三开源匹配算法集成(PMVS)点云融合与构网专题应用（变化检测、灾害评估）自主密集匹配方法(SGM)自动三维重建自动纹理映射交互式建模半自动纹理贴图去噪并提高精度、减少冗余三维模型高质量、实用为目标长期探索快速建模面向对象真正射影像与多视角建模的难点真正射主要步骤：1、几何纠正：纠正地形和地物的投影变形2、遮挡补偿：检测成像造成的遮挡区域，并利用多视影像进行补偿三维建模问题的难点：逆过程•贴纹理或真正射–已知三维模型，求每个表面在影像上的对应关系–复杂性：(遮挡导致)表面多边形的破碎化•自动三维重建–由破碎的二维影像对象反演出完整的三维对象–复杂性？进展情况•空三：实现了不同相机的自动匹配和整体平差（郭）•密集匹配–对PVMS开源代码进行适应性改造与加速（郭、江、眭）–支持城市地区建模的多级SGM算法的实现与改进（江）•构网：–Possion构网（眭、郭）–GraphCut方法实现与优化（郭）–Mesh简化•纹理映射：自动纹理映射实现与优化（朱）•基于影像的点云优化与特征线匹配（黄）说明：目前主要参与小组——朱庆、郭丙轩、江万寿、眭海刚、黄先锋•摄取区域：贵阳金阳•航带间间距：500m•航带内间距：150m•航高：600m—1000m之间一、实验数据航向重叠：60%旁向重叠：50%二、倾斜影像空三——视角变形纠正原始影像摄站m的右视（C相机）摄站n的左视（A相机）纠正影像摄站m的右视（C相机）摄站n的左视（A相机）局部纠正效果纠正前纠正后基于高程面的影像纠正：视角改正、分辨率等归一化论文已发表二、倾斜影像空三——连接点匹配五镜头倾斜影像的匹配效果（图中“+”为匹配出的同名点）B相机D相机E相机A相机C相机二、倾斜影像空三——连接点点云参与空三的点云（粗差剔除后，约98万个连接点）二、倾斜影像空三——结果影像数：73张连接点数：983684个单位权中误差：0.55像素平均残差：0.23像素最大残差：1.33像素该连接点在各片上的像点残差：单位：um检查点三、密集匹配——15张影像三、密集匹配——SGM算法112(,)(,)min((,),(,1),(,1),min(,))rrrrriLpdCpdLprdLprdPLprdPLpriP采用多个方向的1D优化近似2D优化12()(,)11ppppqpqpqNqNEDCpDPTDDPTDD匹配代价：CENSUSSGM匹配策略基于金字塔的密集影像匹配策略，提高匹配效率和可靠性密集匹配的自动选片：通过计算影像之间的重叠度、光束夹角等必要条件，实现了影像配对的自动化。SGM多角度密集点云E相机（下视）A相机结果B相机结果C相机结果D相机结果5视混合结果物方面元自适应匹配传播影像1,2...特征点检测多视匹配提取种子点加入种子点集合种子点出栈匹配传播种子点集合为空N结束Y三、密集匹配——PMVS算法Pi1Pi2Pi3三个几何未知数•高程1个•法向量2个SAPMVS-整体匹配结果(郭）PMVS-整体匹配结果(眭)密集匹配点云——点数比较•pmvs15张影像：15,424,831•SGM0102-26,332,613•SGM0405-32,016,724•SGM1415-24,935,310•SGM1011-31,149,671•SGM0607-16,254,646（逆光角度）SGM算法改进2值CENSUS3值CENSUS和SURE结果对比（下视影像）SURE结果我们的结果和SURE结果对比(下视影像）SURE结果我们的结果和SURE结果对比（倾斜影像）SURE结果我们的结果PMVS算法加速33泊松表面重建算法是通过隐式曲面的重建来解决表面重建问题，它具有全局调整和局部调整的优势。Poisson重建基于一个重要假设：实体表面的法向量能够用某一个指示函数的梯度表示。Poisson构网步骤：由一些采样点建立一棵splatDepth层的初始八叉树（初始八叉树上的每个结点有一个密度值，表示该结点包含的一个采样点的密度）。由实体表面的一些采样点（带法向量采样点），（由采样点的密度等，估算采样点的topDepth，对八叉树进行扩充）通过一定方式插值计算实体表面附近的向量场（即自适应八叉树“叶子节点”的法向量）。假设存在一个指示函数χ，使得该指示函数的梯度能够与实体表面向量场最佳逼近。再利用欧拉拉格朗日定理，即求解泊松方程：_V_V_V四、点云构网——Poisson算法34利用加勒金公式，令，将泊松方程转化为线性系统Ax=b。其中，线性系统Ax=b求解采用分层超松弛迭代法（SOR），求解各结点的指示函数{xi}。通过等值面提取方法（MarchingCube算法）重建出模型表面根据泊松方程性质：理论上令χ=0提取的即为表面。但由于①采样点可能存在噪声，②迦辽金离散化仅仅是对连续问题的一个逼近③在建立八叉树过程中，点的采样密度被逼近，所以需提取的表面。其中，代表采样点处的指示函数值的平均值（接近0）。_0__V1NiiipxBp330,1_0,1,,,ijijijiiiiABBAijbVBixiBiB,是结点与结点之间的拉普拉斯值。结点（经平滑后的）散度值。，结点的指示函数值。,结点的三元三次样条函数。四、点云构网——Possion算法Poisson重建结果Poisson重建结果多视角点云数据的分块构网策略分块构网策略(1)计算影像地面覆盖范围(2)基于物方分块与统计(3)分块点云的获取与构网(4)后处理与构网结果输出考虑到倾斜影像数据量大、Poisson构网算法的空间复杂度，实现了基于分块策略的点云构网。分块泊松构网电力走廊分块构网电力走廊分块合并基于分块策略的点云构网实例通过分块构网，解决了无法重建整个航带数据的问题，并支持并行分块构网与拼接技术在对整个电力线路走廊进行分块构网后，需要拼接所有的构网结果，组成整体表面模型。分块构网结果的接边问题是进行模型拼接的关键。本项目通过扩张-裁剪的方式进行分块构网，解决接边问题。•黑色框：原始分块范围•红色框：扩展分块•绿色框：构网模型没有接边处理的分块构网结果接边处理后的分块构网结果分块构网结果合并本项目提供了分块模型合并库，用于生成整个电力走廊的三维表面模型。分块模型合并库通过对重叠区域进行重新构网，实现分块模型的整体融合电力线路走廊模型合并实例合并模型的部分细节四、点云构网——GraphCut算法•把表面重建问题转化三维三角网中的最大流/最小割问题–由点的可见性对光线穿过的三角面进行加权–选取最佳表面使三角面的“权”的和最小GraphCut算法流程顶点:四面体边:三角面点云构建Delaunay四面体建立s-t图追踪每个点的可见光线穿过的三角面改变光线经过的三角面的权值利用最大流算法确定最佳分割面GraphCut重建结果重建的表面是watertight适用于开放场景GraphCut算法优点GraphCut构网改进•基于四面体空间分解和图割法–依据visibility信息和三角形面积信息添加s-t图的权值，通过优化标记四面体获得表面。thereconstructedsurfaceDelaunaytetrahedronVoronoipolyhedronstcamerasvertexlineofsightδatriangulationintersectedbyaray……原理图GraphCut构网存在的问题•点云数据存在噪声，图割法可以去掉离真实表面较远的噪声点，但离表面较近的噪声被保留，四面体被优化标记后存在以下问题：tttttttttttssssssssssssssssstsssthereconstructedsurfacethetetrahedronlabeledassthetetrahedronlabeledastpointorlineinwhichdoesnotsatisfythehalf-edgedatastructureIsolatedtetrahedronslabeledastthatisnotdesiredGraphCut构网标记优化•重标记获取流形表面（2-ManifoldMesh）•通过分析顶点相关四面体的s-t标记情况，并重新标记四面体得到流形表面，如下图所示，目的是符合半边数据结构，方便简化。ssstssttttthereconstructedsurfacethetetrahedronlabeledassthetetrahedronlabeledastststtttttt1112233333(a)(b)构网结果2-ManifoldMesh模型表面三角网的简化•基于半边数据结构和EdgeCollapse算法简化•依据边的Collapse代价，最大限度的保持模型的几何形状，突出边缘信息。不同程度的简化模型1234AB半边数据结构示意图纹理映射的本质就是实现2D纹理源到三维物方面的映射关系（几何映射）和纹理一致性约束性。11XuYvPZ式中P为所求投影矩阵，为物方到像方的映射关系；具体表达形式与影像内外方元素和相机参数有关几何映射纹理一致性约束性除了几何映射关系外，还需考虑遮挡、摄影夹角等引起的辐射误差，使得在几何映射正确的基础上达到辐射一致性表达，减少或消除相邻纹理的色差。52五、三角网纹理映射Input：影像、影像内外方元素、相机参数、物方三角模型；output:附有纹理的物方模型①计算P矩阵计算3维物方面到影像的映射关系，计算物方面元到影像中的纹理三角面。②遮挡探测与剔除通过遮挡探测剔除P矩阵映射错误的候选纹理面；③纹理提取通过不同影像中的纹理信息（面积、与摄影轴的夹角、拓补等），优选出唯一的最优纹理面；并重采样到其纹理空间。④匀色匀光由于成像过程为非线性、离散过程，使得同一物体在不同影像中呈现不连续性、非一致性；因此需要一种色彩调整方法，来消除其产生的纹理裂缝、辐射不一致性。53五、三角网纹理映射——原理难点纹理映射是三维重建的最后一步环节，直接决定着三维重建模型的视觉效果纹理映射存在的问题“最小成像角”原则选择最佳纹理影像模型自遮挡检测，大幅度提高纹理重建效率模型简化消除“边界污迹”无效三角面元剖分解决局部区域缺纹理现象利用匀光匀色和线性过度消除“边界痕迹”成像光照模型的模拟和模型的PagedLOD技术通过以上技术的研究和实现目前已基本解决了主要技术难点与街景工厂的结果对比与街景工厂的结果对比与街景工厂的结果对比与街景工厂的结果对比倾斜摄影点云优化（初步进展）针对倾斜摄影测量图像立面点云匹配不稳定的情况，进行优化倾斜影像的线提取与匹配通过Hough变换提取线特征通过LMatch算法，进行线段匹配求解三维结构线（存在噪声）结合屋顶、立面的结构线优化优化前的屋顶优化后的结构（有待改进）武大信息学部自动三维表面重建效果（该成果由郭丙轩教授小组完成）倾斜摄影点云优化—点云融合存在问题与后续工作•匹配算法的进一步优化–视差空间的平面拟合、特征线约束等•算法性能优化与加速–SGM算法的加速–实用构网软件开发•噪声抑制与特征保持相结合的Mesh简化算法研制•纹理映射改进–真实感纹理重建与渲染（模拟光照等）•矢量提取与应用谢谢！