博士开题报告ppt课件

ShanghaiJiaoTongUniversity2021/3/23非完备几何特征的测量建模与医学应用研究RE/RPLab博士生:导师：习俊通教授开题报告RE/RPLab,CIMInst.2021/3/23一、研究背景与意义二、文献综述三、课题研究内容四、拟采取的研究方法、技术路线五、已经完成的工作六、研究的创新点七、计划进度汇报提纲RE/RPLab,CIMInst.2021/3/23一.研究背景与意义模型重建完备特征颜面模型非完备特征颜面数据由于疾病或其他原因造成的人体颜面缺损是属于具有非完备几何特征的数据。如何通过模型重建的技术得到具有完备几何特征的颜面数据，从而实现人体颜面赝复体的制作？RE/RPLab,CIMInst.2021/3/23一.研究背景与意义非完备几何特征的测量建模在颜面缺损修复中的应用对称特征颜面1)单侧眼眶部缺损2)单侧颞窝缺损3)单侧颅面部缺损4)单侧上下颌面缺损5)单侧耳部缺损6)单侧鼻缺损颌面赝复体的设计人眼赝复体的设计1问题1:在数据预处理时,如何实现多视角的数据的坐标归一化?问题2:如何实现具有对称特征的非完备数据的几何建模?人眼赝复体的设计2组织有变形RE/RPLab,CIMInst.2021/3/23一.研究背景与意义非完备几何特征的测量建模在颜面缺损修复中的应用非对称特征颜面1)全鼻缺损2)全唇缺损3)双眼缺损问题3：如何基于特征相似性来实现非完备数据的几何建模?问题4：如何保证赝复体与周围组织区域的贴合性及美观性?RE/RPLab,CIMInst.2021/3/23二.文献综述RE/RPLab,CIMInst.2021/3/232.1网格多视对齐技术(1)多视对齐给定:N个已实现粗拼合的视图目标:对其进行全局拼合,实现精拼合要解决的问题:1)误差逐步累积,如何分散;2)大的计算量,如何减少计算;3)大的存储需求,如何减少存储;4)局部最小化,如何能达到全局最小化(2)多视对齐算法综述顺序对齐首尾视图出现间隙斯坦福大学BROWNB(2007);Pulli（1999）:基于主视图的思想,不同之处在于在进行多视对齐之前仅考虑所有的视图间潜在的对齐。评价：提取出视图间的两两拼合的约束，避免将所有视图都加入内存；另外该方法仅考虑有重叠区域的信息，并允许已经对齐的区域可以再次调整。德国自主智能系统研究所Nüchter（2004）:提出了“simultaneousmatching”，它与Pulli的方法的不同之处在于它不需要两两对齐的迭代过程评价：这种方法依赖于要有的好的初始对齐结果。3同步对齐法：Masuda（2002）:基于符号距离场同步对齐和融合所有视图,在迭代过程中去除外点。工作原理是:第一步执行一个粗对齐将所有的视图都变换到同一个坐标系下；第二步执行一个迭代过程使得数据形状对齐融合至收敛。评价:好处是：所有视图能够同步对齐，误差也不会产生累积。另外外点也能自动去除。缺点是：由于多幅视图同时对齐,不仅计算的复杂度会很大,而且占用的存贮空间也很大。1顺序对齐直接使用两两对齐的算法对N个视图进行顺序拼合。评价:两两拼合中会产生不均匀分配的错误,因此会出现一对视图有很高的拼合精度,而整个拼合系统达不到高的拼合精度的情况。2主视图法ChenandMedioni(1991):对齐两个视图,将它们融合成一个主视图,然后新的视图又顺序的对齐并融合为新的主视图。评价：好处是融合后的主视图所含的所有信息都能够在新的对齐过程中被使用。缺点是已经融合到主视图中的视图，它是没法再调整的。RE/RPLab,CIMInst.2021/3/232.1网格多视对齐技术Silva（2003）：提出用遗传算法替代基于ICP的方法思想：引入一个新的健壮的度量surfaceinterpenetrationmeasure(SIM)（用于度量可视的对齐误差来决定两个视图间的重叠面积），他们使用SIM和一个健壮的估计来实现遗传算法。染色体是由三个平移矢量和三个旋转矢量组成，每个染色体的SIM结果在每一代中被用来选择能够能够生成更精确变换。评价：该方法能够取得精确的结果，该方法最重要的缺点就是要收敛到一个好的结果，所需计算的时间太长。法国克莱蒙第二大学E.Mouragnon（2007）：基于bundleadjustment方法实现实时的对齐和融合,同时最小化角度误差。bundleadjustment通常用于求解视图参数(如相机的位置和标定估计)它是一个非线性的最小化问题，对于它的求解通常需要非线性最小二乘法求解.评价：bundleadjustment技术在出现外点时能提供好的结果，但需要好的初始估计，很少用于大的场景4图分析法其主要思想是利用视图之间的关系。例如一些方法想法找到视图间的最优路径来获得一个精确的对齐；另外一些方法利用物体的部分被重新访问来探测循环并在循环的视图中分散误差。Bergevin（1996）:被认为是这种方法的先驱图的创建方法如下：视图与结点相联系。边代表变换两个结点之间的路径代表一系列变换。Bergevin的方法是获取一个很好平衡的网在网中1）视图间的变换都有相似的误差2）不同视图之间有唯一的变换矩阵，不考虑他们之间的路径。当两个非中心视图的变换矩阵趋于相同时，算法收敛。P.J.Neugebauer（1997）:提出了星形的拓扑，它与前面方法的主要不同之处在于使用Levenberg–Marquardt方法来最小化对应点之间的距离来调整变换矩阵。另一个重要的不同在于通过等级化的方法来降低计算量。Huber（2002）：算法分为两步1）局部对齐2）全局对齐局部对齐的主要目标是创建一个“modelgraph”,基于”spinimage”计算所有可能的两两对齐;仅使用正确的两两对齐来进行全局对齐,最后用Neugebauer的方法来进行优化.评价:该方法既不需要视图位置以及视图顺序的知识,但是一旦一个不正确的匹配加到最终的图上，全局模型就会不连续，导致重新开始全过程。RE/RPLab,CIMInst.2021/3/232.1网格多视对齐技术Sharp(2004)：对大场景且未知视图方向的多视对齐进行了研究，为了降低计算负担，将图分解成一组环。要点在于：1）环的判别方法环探测的复杂程度取决于视图是无组织的还是顺序的；2）不合格两两对齐的判别方法；3）环内及环间的误差分散方法。HouFei(2009)：为了剔除错误的两两对齐，在判断环的问题上提出一致性环的概念。所谓一致性环即环中所有的变换都是近似单位阵变换，这样的一致性环中没有错误的两两对齐。评价：这种方法的缺点在于要求过于严格，可能会将合格的两两对齐排除在外，仅适合于粗对齐有很好的结果的场合。Matabosch(2008)：探测环的方法：如果视图是顺序拍摄的,如手持摄像仪,如果前后两个视图间的平移矢量(或旋转矢量)小于一定的阈值,同时这两个视图又不是相邻的那就可以判定是一个环.简化的方法:利用两个视图的包围盒在XY,YZ,XZ方向上的投影来确定重叠区域,如果三个重叠区域都超过了给定的阈值,且两包围盒中心足够小,那就可以判定是一个环。（3）文献总结现有的多视对齐技术存在的主要问题:(1)主视图法:两两拼合如果误拼合，会影响全局拼合的效果。(2)同步对齐法：无法降低大的计算量。(3)图方法：瓶颈在于如何有效的探测环。RE/RPLab,CIMInst.2021/3/232.2具有对称特征的非完备数据的几何建模技术2.2.1非完备几何特征的定义及分类(1)非完备几何特征的定义(4)非完备几何特征的分类在测量操作前因外力作用或在测量过程中因扫描设备场景的限制或被测物体的遮挡等原因引起的构成产品模型的低层几何体素及其构造特征,如点,线,面出现缺失或变形等偏离物体原貌的情况,称为非完备几何特征。(2)非完备几何特征的测量建模过程非完备几何特征的测量建模过程就是试图通过软件或硬件的手段恢复物体原貌的过程。1测量前阶段（即用来测量的物体就是非完备的）如缺齿的齿轮；做了器官摘除手术的病人；受到挤压变形的古化石2测量阶段（由于测量手段或物体的复杂性（如内凹）引起的）(3)非完备几何特征的产生阶段1按照非完备类型分：1）缺损2）变形2按照产生阶段分：1）原始非完备2）测量非完备3按照非完备的范围分：1）小区域2）大范围4非完备几何特征的性质分：1）平面2）二次曲面3）自由曲面如机械产品很多是规则曲面；而人脸等是自由曲面(5)非完备几何特征的测量建模的应用1受到挤压变形的古化石,恢复其原貌;2做了器官摘除手术的病人需要做赝复;3动画设计4利用已有的数据进行创造性设计RE/RPLab,CIMInst.2021/3/232.2具有对称特征的非完备数据的几何建模技术2.2.2对称面或近似对称面的求解方法01(,)nABAiiDn'''00112nnAiBiiiDDnn1)轮廓线法金涛(2003):评价:该方法采用的对称特征是二维空间折线，需在测量阶段对特征线作标记，增加了数据测量的难度和工作量；另外，特征线上所含数据点的数量有限，难以通过统计方法减小误差。RE/RPLab,CIMInst.2021/3/232.2具有对称特征的非完备数据的几何建模技术2)局部形状匹配法纽约州立大学的JianningWang(2002):利用3DHough变换将点云分为平坦区域和特征区域，对于特征区域进行聚类，然后对特征点对进行取中心点，多个中心点拟合成中心对称面。评价:优点：局部形状匹配法是将三维空间域的问题转化为二维平面域的图像问题,是一种降维的处理方法。缺点：存储需求量大，因为需要转换；求取对称面的精度不高，适用于复杂物体的多个对称面的求取。斯坦福大学的NiloyJ.Mitra(2006):匹配”localshapesignature”局部形状签名对,使用这些匹配来累积得到近似的对称面。第一阶段:我们计算一个简单的局部形状描述器第二阶段:我们使用随机聚类算法meanshiftclustering对每个点,计算一个局部形状签名,如果签名值相似,则这两点为一对点,点对之间可以计算一个中心点,众多中心点累积得到近似的对称面。RE/RPLab,CIMInst.2021/3/232.2具有对称特征的非完备数据的几何建模技术3)ICP方法南京航空航天大学的张丽艳(2006)：提出用ICP迭代方法来获取健康人脸的对称面利用去掉裙边的数据求取人脸最优镜面1首先使用PCA(主轴分析)来确定镜面的最近似的位置,获取初始镜面;2通过初始镜面的镜像获取它的初始镜面;3对原始数据和初始镜像面去除掉裙边的数据进行基本ICP精对齐。除掉裙边的目的是保证初始镜像数据是原始数据的子集,从而满足基本ICP收敛的要求;4将对齐后的对应点连线的中点拟合成最小二乘平面,这就是所要求的最佳镜面。•优点：该方法是采用的基于优化理论的ICP算法，它通过迭代的方法找求最佳对称平面特征,能达到较高的精度。•缺点：1初始对齐的位置对算法的收敛精度有影响；2如何有效地去除假的对应关系是保证算法健壮性的瓶颈所在。原始数据初始镜像粗对齐去掉裙边的初始镜像去掉裙边的原始数据文献总结：对于健康人脸的对称面获取,利用张丽艳的去掉裙边,然后使用基本ICP对齐方法是能够得到较好精度的对称面,但对于需要赝复的病人,他的数据是带有缺损信息的,不满足基本ICP收敛的要求,其结果是不理想的。因此我们需要着力解决的是如何有效地去除ICP对齐中假的对应关系,从而保证该方法在临床使用的稳定性.病人原始数据初始镜像病人脸面最优镜面RE/RPLab,CIMInst.2021/3/232.3基于特征相似性的非完备数据的几何建模技术(1)问题求解的思路利用外部的信息来辅助获取非完备区与完备区拓扑关系(2)研究现状1构建人体特征模板2利用模板实现头部缺损区的填充1)利用设备投射光线的信息Davis,Marschner,Garr,Levoy(2002)：测量残缺是因凹陷的几何形状致使测量手段难以到达所致，故通过光滑插值于残缺边界的等值面