海量遥感数据实时处理技术

海量遥感数据实时处理技术北京理工大学信息与电子学院北京理工雷科电子信息技术有限公司2014-02-18报告人：龙腾主要内容一．概述二．技术发展动态三．关键问题及解决途径四．本单位在该领域研究应用成果五．总结及展望一．概述一．概述遥感：利用特定传感器，以非接触的方式探测感知远距离目标的技术载荷：可见光、红外、高光谱、微波…平台：星载、艇载、机载、地面我国每天需要处理超过TB遥感数据星载光学遥感图像机载SAR遥感图像一．概述遥感数据处理：对遥感传感器获得的数据进行加工处理的技术需处理的内容：基本数据处理：SAR成像、辐射校正、图像拼接、几何校正等应用处理：变化检测、灾害监测、目标检测、识别、跟踪、去伪装…辐射校正处理校正前光学遥感图像校正后光学遥感图像几何校正处理校正前光学遥感图像校正后光学遥感图像SAR成像真实自然场景SAR成像图像SAR原始数据灾前图像灾后图像自动灾后评估图像。变化检测结果变化检测目标检测机场飞机目标自动检测一．概述遥感数据实时处理技术：实时完成传感器所获取遥感数据的变换、成像、检测等任务的数据处理技术实现平台：星载、艇载、机载、地面意义：民用：满足救灾减灾、突发事件应急等应用需求军事：情报侦察，目标检测、识别，去伪装等星载、机载实时处理器以航天遥感为例：卫星数据：经天线、信道后，进行存储、编目对存储结果进行非实时处理和分发从接收到应用延迟时间长：小时级传统遥感数据处理流程（未采用实时处理技术）卫星接收天线接收信道数据存储信息处理分发服务地震局环保局减灾委卫星地面站遥感数据处理中心用户一．概述不能满足应急减灾、快速响应等应用需求一．概述采用海量遥感数据实时处理技术针对时效要求最高的处理需求在星、艇、机上完成SAR成像处理、关键目标检测、感兴趣区域提取等实时信息处理针对其它高时效处理需求在地面针对星、艇、机上下传的原始数据完成实时信息处理天基（高轨）天基（低轨）空基S频段移动通讯卫星应急通信卫星低轨遥感卫星低轨探测卫星飞艇飞机地基（灾区）车载卫星通信指挥终端便携式广播终端数据传输与应急广播卫星地基（安全区）手机卫星中继移动通信基站星载/艇载/机载实时信息处理快速响应流程艇载实时信息处理机载实时信息处理星上实时信息处理在星、艇、机上，完成数据实时处理，形成可直接应用产品遥感数据接收站网数据处理中心处理结果通过中继链路，发送到数据传输与应急广播卫星处理结果可由广播方式下传通过移动通信卫星，还可快速分发到手机终端可达到分钟级的应急信息快速获取实现最优的信息获取、处理、分发效率卫星下传数据经天线、信道，直接进入实时信息处理系统目标实时成像、提取和定位后，直接分发给高时效用户应用接收天线接收信道数据存储卫星信息处理分发服务地震局环保局减灾委卫星地面站遥感数据处理中心用户快反通道地面实时信息处理快速响应流程航天遥感数据实时处理系统可以满足应急减灾、快速响应等应用需求针对正常下传数据的地面实时信息处理流程二．技术发展动态技术发展动态1、星载遥感数据实时处理发展动态2、机载遥感数据实时处理发展动态3、地面遥感数据实时处理发展动态2.1星载遥感数据实时处理发展动态（国外）卫星国家星上处理发射年代技术途径EO-1美国变化检测和异常检测2000MongooseV处理器BIRD德国多种类型遥感影像预处理、星上实时多光谱分类2001TMS320C40浮点DSP、FPGA和NI1000网络协处理器FedSat澳大利亚多源数据压缩2002FPGANEMO美国高光谱数据自适应压缩2003SHARCDSP国外星上光学实时处理动态卫星国家星上处理发射年代技术途径MRO美国多传感器信息综合分析自主任务规划2005RAD750X-SAT新加坡无效数据自动剔除2006VertexFPGAStrongARMPROBA-2欧洲宇航局图像分析和压缩自主任务规划2009LEON2-FTPleiades-HR法国辐射校正、几何校正、图像压缩2011以FPGA为核心的MVP模块化处理器国外星上光学实时处理动态2.1星载遥感数据实时处理发展动态（国外）德国BIRD卫星：综合可见光、中波红外和热红外3个波段图像，在星上完成“热点检测”：植被火灾，火山活动，油井燃烧等地面训练分类参数上注，星上实时分类处理2.1星载遥感数据实时处理发展动态（国外）法国Pleiades-HR卫星图像辐射校正、几何校正、图像压缩以FPGA为核心的处理单位MVP组成2.1星载遥感数据实时处理发展动态（国外）国外星上SAR实时处理动态（预先研究计划）计划/目的国家实现功能计划时间技术途径DiscoveryII计划美国GMTI、SAR实时成像1998年-2000年CIPSBR计划美国实时成像处理、MTI2001年-2008年FPGATechSat21美国SAR成像、动目标检测（MTI）、地理定位2002年-2003年PowerPC750SAR处理器美国（JPL）SAR成像处理2004年报道SoC针对ERS卫*美国（JPL）星上SAR实时成像、变化检测2004年报道FPGA+PowerPC干涉SAR美国（JPL）星上SAR干涉处理2009年报道FPGA2.1星载遥感数据实时处理发展动态（国外）美国SBR计划提出基于FPGA处理模块构建可重构、可容错的在轨SAR数据处理系统实现星上SAR成像整机：100w重量：5Kg2.1星载遥感数据实时处理发展动态（国外）美国JPL：构建多核SoC处理器SAR实时成像处理处理能力：10Gflops星上SAR处理器实物2.1星载遥感数据实时处理发展动态（国外）2.1星载遥感数据实时处理发展动态（国外）系统构建方法：基于标准板卡，模块化、可扩展BAESystem的宇航级cPCI板卡RadStone的宇航级cPCI加固机箱已开展星上实时处理关键技术攻关和设备研制相关算法已经在地面验证：SAR成像、辐射、几何校正船只目标检测、云判等完成相关预研工作：星载SAR实时成像处理星上实时信息处理系统架构…在轨应用：船只目标检测和定位2.1星载遥感数据实时处理发展动态（国内）国外机载遥感数据实时处理技术途径标准化、模块化、可扩展、可重构基于Power-PC、DSP、FPGA、多核处理器等高性能嵌入式处理器以VME、cPCI或OpenVPX架构为标准利用多处理模块并行处理构建机载海量遥感数据实时处理系统2.2、机载遥感数据实时处理发展动态（国外）国内部分航空遥感系统已经初步实现了机上SAR实时成像、GMTI等遥感数据实时处理。SAR实时成像处理、动目标检测能力；在机上实现了SAR实时成像，多模式自动切换、海面目标检测和跟踪处理。2.2、机载遥感数据实时处理发展动态（国内）超级计算机和计算机集群超级计算机：气象处理等缺点：其构建成本较高，系统对环境要求比较苛刻计算机集群采用普通电脑构建的并行计算机群，采用MPI和PVM并行程序库设计并行。辐射校正、几何校正缺点：并行效率随CPU增多不断下降，平均效率不足50％2.3、地面遥感数据实时处理发展动态（国外）嵌入式实时处理机以DSP、FPGA等嵌入式处理为核心的专用计算机适应应用系统对功能、可靠性、成本、体积、功耗等严格要求NASA：基于FPGAV2－6000，实现了针对Landsat7的自动云量估计采用定点运算2个节点，是普通PC（Xeon2.8G）效率的28倍2.3、地面遥感数据实时处理发展动态（国外）基于嵌入式实时处理技术已实现地面遥感数据实时处理光学、SAR0-2级产品实时处理实时云判实时船只检测…实时云判多源遥感数据实时处理机实时船只检测标准化硬件模块2.3、地面遥感数据实时处理发展动态（国内）三．关键问题及解决途径关键问题及解决途径实现星、机、地不同平台的遥感数据实时处理，需要解决的关键问题：1、高性能遥感数据实时处理系统构建2、适合并行实时处理的遥感数据处理算法3.1高性能遥感数据实时处理系统构建遥感数据处理特点分析：数据输入速率高：10+Gbps处理算法复杂，对系统运算、存储、IO能力要求高，并可同步扩展和提高算法类型SAR成像图像校正图像匹配目标检测图像压缩处理量需求GFlops50~200030~100030~100060~100020~500存储量需求GB1~640.512~20.512~10.512~20.512~1算法特点二维处理有限相关大矩阵转置二维网格处理插值处理二维处理相关处理像素级处理像素级处理3.1高性能遥感数据实时处理系统构建遥感数据处理特点分析：所需处理能力：2000GFlops，需要多片并行所需存储能力：64GB（单节点）星、机等平台上体积、重量、功耗受限所需处理能力/功耗比：10GFlops/W所需处理效率：80%以上3.1高性能遥感数据实时处理系统构建高性能遥感数据实时处理系统构建解决途径：技术途径选择系统体系架构设计系统软硬件平台构建核心处理芯片的研制3.1高性能遥感数据实时处理系统构建技术途径选择处理性能通用CPUDSPFPGAASIC/SoC（自研）运算能力较强中强强存储器接口带宽较低中(恒定)高(可扩展)自定制多片扩展能力较差强强自定制功耗高一般较低低宇航级产品无缺少高端产品有高端产品自定制抗单粒子能力无中低高开发难易程度易易中难应用领域范围大大中小3.1高性能遥感数据实时处理系统构建技术途径选择星上：受空间环境制约，基于宇航级FPGA、DSP处理器或自主抗辐照SoC处理器构建系统艇、机上：基于DSP、FPGA等嵌入式处理器，构建标准化、模块化、可扩展处理平台地面上：采用与机载相同的嵌入式平台3.1高性能遥感数据实时处理系统构建系统体系架构设计设计需求针对高速、海量、多源、多维信号处理：要求系统可扩展、可重构、通用性；针对短延迟、大粒度数据处理需求：要求单节点具有强大处理和存储能力针对星上、机上等应用需求：要求系统高可靠3.1高性能遥感数据实时处理系统构建主控模块信息处理模块0信息处理模块1信息处理模块N-1信息处理模块N交换模块总线控制网络高速实时网络高速交换网络海量存储模块交换模块主控模块冗余容错控制IO模块0IO模块1电源模块处理/存储/吞吐能力可平衡扩展的并行架构3.1高性能遥感数据实时处理系统构建系统软硬件平台：高性能硬件模块构建具有平衡的处理和IO能力才能使得两者不会造成系统性能的瓶颈；提出：吞吐比=处理能力/外部IO数传带宽单节点多处理器共享存储设计处理器个数N=算法吞吐比/处理器吞吐比输入数据率Din数据输入输出数据率Dout数据输出处理器处理器处理器……处理器任务数据控制单元处理器处理器……处理能力C1处理节点处理器存储器任务数据控制单元包交换处理器处理器…………包交换网络处理延迟L数据粒度G运算量Q处理能力C1……二维网格带宽Bmesh存储器带宽Bmem存储器容量M1包交换带宽Bsw3.1高性能遥感数据实时处理系统构建系统软硬件平台：层次化软件平台的设计底层硬件平台底层硬件驱动层分布式资源管理与通信支持层实时大规模网络加载实时大规模分布式调试实时大规模网络监控基础数学运算模块应用算法模块遥感信息处理系统应用软件3.1高性能遥感数据实时处理系统构建核心处理芯片的研制针对空间辐照特殊环境下采用通用FPGA、DSP处理器系统功耗大、单粒子问题难以解决，高等级器件受国外制约星上抗辐照SoC芯片设计SoC架构：满足多种应用需求，缩短开发周期；抗辐照：基于抗辐照设计加固库或者SOI工艺。3.2适合并行实时处理的遥感数据处理算法遥感数据实时处理：要求算法：自动化、智能化以及鲁棒性、可靠性当前已经成熟的处理算法：光学、SAR辐射校正光学、SAR几何校正SAR成像处理大型船只目标检测、定位云判等3.2适合并行实时处理的遥感数据处理算法算法自动化、智能化进一步工作减灾救