双目立体视觉系统(答辩)

双目立体视觉系统项目组成员：何健、晏尧、艾晨指导老师：蒲秀娟2011年9月21日项目答辩重庆大学第二届科研训练项目汇报提纲研究目的和意义1系统总体设计硬件选择2图像算法和显示流程3验证4心得51研究目的和意义应用背景双目立体视觉系统作用：双目立体视觉系统可以模仿人眼功能，感知三维世界信息双目立体视觉系统可用于多场景监控，在工业控制、智能交通、金融、公共安全等应用领域逐渐显示出非常广阔的发展前景2系统总体设计及硬件选择本项目通过详细分析和研究基于DM642双目立体视觉系统，给出软硬件结合的方案CCD摄像头1CCD摄像头2VideoPort0VideoPort1DM642SAA7115H模／数转换SAA7115H模／数转换预处理运算计算机计算机与DM642通信，并控制摄像头1的采集计算机与DM642通信，并控制摄像头2的采集2系统总体设计及硬件选择硬件选择采集模块：CCD摄像头两个处理模块：DM642DSP开发板显示模块：计算机3双目立体视觉图像算法和显示流程具体算法实现初始化程序中有关参数，变量，调用opencv库，并定义一些相关数组，变量通过opencv库函数完成摄像机标定，特征提取，立体匹配完成深度回复和误差纠正获得立体视觉信息计算机显示器3双目立体视觉图像算法和显示流程摄像机标定利用摄像机所拍摄到的图像来还原空间中的物体对图片信息进行二维标定在二维标定的基础上对图像信息进行三维标定3双目立体视觉图像算法和显示流程摄像机标定标定结果如下图所示：3双目立体视觉图像算法和显示流程特征提取使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域本次项目中，提取范围为区域，提取特征为区域的灰度信息3双目立体视觉图像算法和显示流程立体匹配主要采用区域匹配方法，选取一定大小窗口内的灰度分布特征作为匹配基元利用灰度信息的相关程度，将距离用d(X,Y)表示，X,Y取当前像素的灰度，距离测度d为X,Y之间的绝对差。3双目立体视觉图像算法和显示流程深度恢复和误差纠正通过用于纠正摄像头采集图像的像素丢失和错误，并重建正确的三维图像信息通过摄像机标定和立体系统标定的方法，求出左右摄像机的内参数和相对旋转矩阵与平移向量对于左右摄像机所摄同一场景的两幅图像，通过对应点匹配的方法，求出左右图像中的对应点对于左右图像中的一对对应点，由它们的左右图像坐标和左右摄像机的内参数求出它们的正规化向量3双目立体视觉图像算法和显示流程深度恢复和误差纠正由对应点左右正规化向量的坐标，以场景点在左右摄像机坐标系中的深度值为参数，分别建立从左摄像机光心至左图像点和从右摄像机光心至右图像点的两条投影线方程由左右正规化向量和摄像机的相对旋转矩阵与平移向量求出两条投影线的公垂线端点在左右摄像机坐标系中的深度值和三维坐标由公垂线两个端点的坐标求出公垂线中点的坐标，以公垂线中点在左摄像机坐标系中的坐标和公垂线中点在左摄像机坐标系中的坐标作为场景点的三维坐标，完成深度恢复和三维重建4验证系统验证：系统整机实物图4验证整机工作图：•摄像头一采集图像•摄像头二采集图像4验证•2个摄像头采集图像整机工作图：5心得心得良好的学术氛围是学生科技创新的基础仅有优越的外部条件是远远不够的，培养自己良好的专业兴趣才是关键在科技创新实践活动中，还要具有坚忍不拔的毅力和坚持不懈的精神团队合作精神在我们研究过程中得到了充分的体现Clicktoeditcompanyslogan.