无人机影像处理

无人机影像处理-自动空三、DEM正摄影像生成一、概述1.1为什么无人机摄影测量(UAV)1.2无人机摄影测量优势与劣势1.3无人机摄影测量的新起点1.1为什么UAV-1•需求驱动作为城市精细三维数据获取的主要来源之一,大比例尺、高分辨率的遥感影像需求日趋显著。现有的卫星遥感和航空遥感技术虽然能够获取大面积的地理信息,但因卫星受回归周期、高度等因素影响,遥感数据分辨率和时相难以保证;载人飞机受空域管制和气候等因素的影响较大,缺乏机动快速的能力,同时使用成本也比较高,因此在满足精细城市三维信息获取的要求方面存在一定不足1.1为什么UAV-2•技术驱动UAV(UnmannedAirVehicle,无人驾驶航空飞行器)遥感平台的出现为这种应急需求提供了一种新的技术途径。UAV无人驾驶,由地面遥控站通过无线电通信控制飞机的起飞、到达指定空域、实行遥感操作、以及返回遥控站降落等操作。它可实现危险区域目标图像实时获取、空中侦察与目标搜索、环境监测、海区巡视、救援指挥、大气参数测量、有毒污染地区空中监测等多种载人机无法完成或不易完成的任务1.2无人机摄影测量优势与劣势•优势具有机动性、灵活性和安全性分辨率高多角度性能优异低成本•劣势像幅小基高比小姿态不稳定非专业相机1.2.1具有机动性、灵活性和安全性无人飞行器的机动性、灵活性使得它不要求专用起降场地，升空准备时间短、操作控制较容易、运行成本低，城市的运动场、广场等都可以作为起降场地，特别适合在建筑物密集的城市地区和地形复杂地区及国内南部丘陵、多云地区应用。它的安全性使得它能够在对人生命有害的危险和恶劣环境下(如森林火灾、火山、有毒液体等)直接获取影像，即便是设备出现故障，发生坠机也无人身伤害。1.2.2分辨率高多角度无人飞行器携带的高精度数码成像设备具备垂直或倾斜摄影的技术能力，不但能竖直拍摄获取平面影像，还能低空多角度摄影获取建筑物多面高分辨率纹理影像，这点弥补了卫星遥感和普通航空摄影获取城市建筑物时遇到的高层建筑遮挡问题。所获取影像的空间分辨率能达到分米级，系统获取的高分辨率数码影像可用于高精度数字地面模型的建立和三维立体景观图的制作。1.2.3性能优异无人飞行器可按预定飞行航线自主飞行、拍摄，飞行高度从50米到1000米，高度控制精度达到10米。阴云天气下的低空飞行也可获取光学影像，并且影像的逼真度超过雷达影像。不受高度限制，不受山区低云的影响。1.2.4低成本UAV系统及传感器成本与其它遥感系统无法相比，一般的单位和个人都有能力负担。影像数据后处理的设备要求不高、成本费用低，高档微机就可以作为主要设备，不需要像传统航摄像片需配置高精度扫描仪和数字化处理设备。1.2.5劣势•像幅小、基高比小相同的重叠度情况下，需要跟多的控制点•姿态不稳定旋偏角、俯仰、滚动，甚至导致连接有问题•非专业相机光敏度、像点位移、存在镜头畸变、其它未知的系统误差1.3新起点抗震救灾(1)1.3新起点抗震救灾(2)2.1相机2.2重叠度与相机姿态角2.3小像幅、小基高比2.4分辨率与像点位移2.5曝光间隔与地面分辨率、地面速度关系二、无人机影像特点和影响因素分析数码相机普通定焦型普通单反型可量测单反型2.1非专业数码相机枕形变形桶装变形无变形2.1镜头畸变切向变形径向变形中间小，边缘大，可达20-40像素畸变后果•使物点、投影中心、像点三点不再共线•影像形状发生非透视畸变•–同名光线不再相交–空间后交精度降低–重建物体的几何模型变形镜头畸变公式24220121020000()()2()2()()()()xxxkrkrprxxpxxyyxxyy242201220100()()2()2()()yyykrkrpryypxxyy2200()()rxxyyx0，y0为像主点x，y为像素坐标系坐标2.2重叠度与相机姿态角•传统摄影测量–航向重叠60%–旁向重叠30%–姿态角3°•无人机摄影测量–航向重叠70-85%–旁向重叠35-55%–姿态角可达10°以上•姿态不稳定，需要新的初始值计算方法•姿态不稳定，基于灰度的相关系数匹配失效•重叠度增大，增加观测值个数，增加解算稳定和可靠性2.3小像幅、小基高比航高H基线B基线B大像幅小像幅•由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量•基高比变小，使得空中三角形不稳定，降低解算稳定性2.4分辨率与像点位移•影像地面分辨率影像因素–相机本身CCD(CMOS)大小（ccd_size）–像素分辨率–相机镜头焦距(c)–航高(H)像点位移使图像模糊影响有效分辨率像点位移公式•(1).飞行器的地面速度•(2).相机曝光时间•(3).焦距长度c•(4).飞行器的飞行高度•(5).像元大小曝光间隔与地面分辨率、地面速度关系2.5曝光间隔与地面分辨率、地面速度关系•由方程（1）容易看出当GSD一定时，相机的曝光间隔与装载它的飞行器的地面飞行速度成反比关系t:曝光时间间隔GSD:地面分辨率Vg:飞行器的地面飞行速度P:航向重叠度npix:航向方向的像元个数它们的关系可以由下面方程表示7.综合分析通过分析可以看出当地面分辨率一定，飞行速度与曝光时间成反比。可以看出飞行速度与影像的运动成正比。因此可以知道飞行速度太快，像点位移会超出限定范围，这就会使得影像模糊，影响地面分辨率。但同时如果飞行速度太低，曝光间隔长了，这就会影响作业效率。由于影像存储速度的影像，曝光间隔至少要大于2sec，所以对于一定分辨率的影像，飞行器的飞行速度也不能太快。飞行时既要顾及作业效率也要考虑获取的影像质量，所以要在曝光间隔与搭载平台的飞行速度间找到一个最佳的值。四、待需解决的问题1.变焦距引起的在相机内定向和检校方面的问题由于焦距长度可变，所以每次变换焦距长度都需要从新进行相机检校即使机械固定了焦距使其不变，在飞行高度增加时由于大气压的变化，焦距的长度仍然会发生变化2.像点位移带来的问题高于5CM，需要FMC（向前运动补偿）3.辐射校定方面的问题辐射校正方面主要的还是没有独立的标准算法进行获取的影像格式的转换（从BayerfilterorFoveonsensortoRGB）4.由于单幅影像覆盖面积小，正射影像图接缝工作量变大，像对模型变多，增加了模型切换和模型接边工作量•处理技术三、无人机影像处理技术与方法3.1相机标定由于数码相机的焦距可变，这样在不同的航空条件下内定向就会发生改变，因此可进行以下4个水平层次上进行几何校正•（1）在实验室二维或三维试验场进行几何校正•（2）在一个检校区域进行飞行几何校正•（3）为了适应特定的区域环境，在飞行任务时同时进行检校•（4）根据长期来检校的统计数据确定检校的时间周期标定方法•二维平面法iWitness模板武汉大学遥感信息工程学院标定场室内三维检校场•由测绘遥感国家重点实验室自主研发基金和重点开放基金支持的测绘遥感信息工程国家实验室长远建设项目”高分辨率对地观测系统定标与综合试验场建设”第一期航空定标与综合试验场已初步建成,并投入使用。•航空定标与综合试验场位于河南登封市,面积近100平方公里,区域内有农田、道路、村镇、河流、树林等，典型的丘陵地形，交通便利，植被多样。217个高精度控制点分三级均匀分布在整个测区内，可满足不同分辨率航空传感器的检校与性能测试需要。各种可移动的标志物可用于传感器的分辨率测试和幅射校正工作。•目前已获取了ADS40的不同GSD的影像，后续处理工作正在进行中。预计在年前完成DMC，LIDAR，TOPDC等航空传感器的航空摄影。•室外三维检校场三维检校场方法•三维控制场需要有一定的深度•利用空间后方交会•标志点的关系长期稳定、不变•标志点利用经纬仪精确测量3.2航带生成•根据kappa角的变化划分航带，自动去掉航带之间转向部分影像，自动生成航带3.3基于特征的匹配•基于特征匹配通常分为点、线、面的特征匹配。一般来说特征匹配分为三步：•---特征提取•---利用一组参数对特征进行描述•---利用参数进行特征匹配3.4错误匹配过滤•1）基于一对一约束的粗差剔除•2）基于尺度约束和角度约束的粗差剔除•3）基于几何约束的错误匹配过滤•4）RANSAC鲁棒估计3.5光束法空中三角测量•光束法空中三角测量以共线方程为基础（即摄影时地面点，摄站点，像点共线为条件），以一幅影像所组成的一束光线作为平差的基本单元，通过各个光线束在空间的旋转和平移，使模型之间的公共点的光线实现最佳交会。在具有多余观测的情况下，在保证[pvv]最小的意义下解求待求参数。3.6DEM生成•常用的主要生成方法：•1)移动曲面拟合法•2)多面函数法DEM内插•3)有限元法DEM内插3.7正射影像生成与镶嵌•根据有关的参数与数字地面模型，利用相应的构像方程式，或按一定的数学模型用控制点解算，从原始的非正射投影的数字影像获取正射影像，其实就是将影像化为很多微小的区域逐一进行纠正（变换或映射）。然后将区域所有正射影像镶嵌成整个区域的正射影像。3.8立体像对生成•立体相对生成主要是用于立体测图仪（JX4C，VirtuoZo等等）进行立体观测。•利用两幅相互重叠的影像构成立体相对。4.天工无人机摄影测量处理软件•现有处理软件模式•4.1系统概述•4.2系统功能•4.3系统特色•4.4系统流程•4.5效率测试•4.6实例现有处理软件模式•传统摄影测量软件–流程成熟–作业效率低•快速拼接，生成一张全景影像–无精度，不可量测•专用无人机摄影测量软件–效率高–有待大量生产检验4.1系统概述•针对无人飞机像幅小、姿态不稳定、重叠度大、非专业相机等特点，开发了一套无人机摄影测量数据自动处理系统GodWork4.2系统功能无人机影像数据相机标定参数影像POS数据DP-UAV全自动处理系统控制点数据带颜色三维点云DEM正射影像4.3系统特色•采用特征匹配，适用于大偏角影像、大高差地区•空三和DEM生成一体化，所有点参与光束法平差每片像点5千~2万个，空三结果直接生成DEM•较传统空三增加了上百倍的观测值，系统具备更强的粗差检测能力•自标定，不需要严格相机参数•处理自动化程度高•支持多核CPU4.4系统流程•特征匹配–每张影像提取特征点，相邻影像进行匹配•初始构网–每张影像提取特征点，相邻影像进行匹配•带附加参数的光束法平差–把所有匹配点纳入平差过程•DEM和正射影像生成4.5效率测试采用不同地面类型无人机影像数据20套，每套数据像片数150~800张不等，航高500~800米，佳能400D相机，焦距24mm，像片大小3888x2592像素•运行环境，Intel4核CPU主频2.33GHz、内存3G•运行模式全自动批处理•平均处理速度每分钟2-3片•成果–密集点云（每片5,000~20,000像点）–DEM–正射影像（采用GeoDoging进行匀光和镶嵌）4.6实例(左)彩色的点云(中)DEM(右)正射影像新疆某地区338张像片，耗时147分钟，自动生成136万物方点，DEM和正射影像三维浏览GeoDoging匀光镶嵌的结果5.低空影像数据处理实例•拍摄范围•布设控制点•航线设计•影像数据•相机检校参数•飞行区域大小---6×4平方公里•获取方式：无人飞机，航高500米•使用相机：canon450D•获取时间：某日上午；天气状况：晴朗•获取的影像：共1338张，15航带5.1Google影像图5.21:10000的地形图相机检校参数（像素坐标原点:影像左上角）主点x02111.1586主点y01446.3661焦距f4675.8297径向畸变系数k10.000000005103349760径向畸变系数k2-0.000000000000000217偏心畸变系数p10.000000028772388976偏心畸变系数p2-0.000000022685532581CCD非正方形比例系数α-0.000202395822CCD非正交性畸变系数β0.000054488146•.2