第五章运动目标检测

第三次上机安排：时间：11月24日（周一）8:00-11:50（1-4节）地点：计算中心T07内容：对第二次上机保存的关键帧先进行灰度化，然后利用阈值分割算法对其进行图像分割（至少编程实现一种算法），并分析实验结果。方式：自行完成要求：上机时带上存好的关键帧图像，可带自己的电脑。第五章运动目标检测技术运动目标检测是指在视频图像序列中判断是否有前景目标的运动，如果有则对目标进行初始定位的检测过程，运动目标检测是实现目标识别跟踪的基础。常用的运动目标检测方法包括时间差分法、背景差分法、光流法。运动目标检测的定义1、时间差分法(P.170)直接比较图像序列相邻帧对应像素点发生的相对变化，是一种直接简单的运动检测方法。优点是计算简单、速度快。差分的两幅图像的时间间隔较短，受光线变化影响小，非常适合于动态变化场景。缺点有三个方面，首先它不能完全提取出运动物体所有相关的特征像素点；其次是对噪声非常敏感，而且检测出的物体位置不精确；再次必须根据目标的运动速度选择合适的差分时间间隔，否则将错检或漏检。elseTtyxftyxfttyxfd0|),,(),,(|1),,,(2121图像Ik-1图像Ik图像Ik+1帧差帧差与运算差分图像IZ（k-1,k)差分图像IZ（k,k+1)三帧时间差分图像IZk三帧时间差分法2、背景差分法(P.172)是目前运动分割中最常用的一种方法，利用当前图像与背景图像进行差分，从而检测出运动区域。首先对背景模型进行初始化，建立原始的背景图像；背景模型更新是根据当前输入的图像修正背景模型，及时反映环境的变化；背景差分是将当前帧和背景模型进行差值运算，然后与阈值相比较提取出运动目标。建立背景模型背景差分提取运动目标背景更新运动目标对于场景的动态变化，光照和外部噪声等干扰会影响处理结果：（1）光照条件变化一是光照缓慢变化，可以通过更新背景解决；另一种是光照条件变化很快，背景模型的更新速度跟不上光照变化速度。会将大面积的背景当作前景目标。（2）遮挡与运动目标混淆当两个运动物体相互靠近重叠时，简单的背景相减会将其当作一个目标而不是两个不同目标。而如果一个运动物体的一部分被背景遮挡，则背景相减后可能会将其当作两个分开的运动物体。（3）物体停止或者运动过慢当运动物体停止时，需要考虑是否将该物体当作背景；而运动过慢物体会产生拖尾以及中间产生空洞。（4）背景中物体运动，引起虚静止物体当初始背景中存在运动物体时，该运动物体的初始图像在背景中将长期存在，在检测结果中出现虚的静止目标，用一般的背景更新算法很难将该区域去除。（5）树叶摆动等干扰当背景中有很多并非绝对静止的背景物体时，在检测结果中将会产生很多噪声。若场景中有风，背景中大部分树叶都在晃动，在检测结果中出现很多树叶。（6）运动物体的阴影由于运动物体存在着阴影，而这些阴影往往与背景不同，在背景相减过程中，这些阴影会与前景物体连在一起，不利于前景物体的跟踪与识别。对于（1）光照条件变化，必须对所有像素点进行全局统计，以判断是否有光照条件的变化。依据前景物体所占比例小的假设，可以通过判断像素点中前景点占的百分比来判断光照条件是否变化，以决定是否要提高背景的更新率。对于（2）遮挡与运动目标混淆，目前的解决方法是基于模板匹配。对于（3）物体停止或者运动过慢，如果停止的物体将长期静止，则应该将其视为背景；如果它只是短期停留，则应该还是将其作为前景目标。对于（4）背景中物体运动，引起虚静止物体，由于虚物体被检测出来都是静止的，可以用上述解决（3）的方法来处理，不过这种方法需要一定长的时间。或通过基于内容的方法来解决。对于（5）树叶摆动等干扰，可以借助一些去除噪声的方法。对于（6）运动物体的阴影，可以使用隐式马尔可夫模型来解决该问题。教材补充内容运动目标测方法总结示意图光流法空域法时域法背景减法帧差法运动目标检测基本背景建模法统计背景建模法两帧差分法三帧差分法均值滤波法W4法单高斯模型混合高斯模型运动目标检测常见时域法优缺点对比表算法名称优点缺点帧差法算法简单易于实现实时监控，对场景光线变化不敏感噪声较多，检测精度不高，易出现重叠和空洞现象，对目标描述不完整背景减法算法简单易于实现，检测结果完整，适合实时处理易受到背景变化的干扰，如树叶摇动、雨雪天气等光流法包含目标运动信息和三维结构信息，可以在场景信息未知的情况下进行检测算法复杂耗时，抗噪声能力比较差，需要特定的硬件支持，实用性较差相邻两帧算法流程图差分图像二值化公式运动目标检测——相邻两帧差分相邻三帧算法流程图运动目标检测——相邻三帧差分差分相乘算法流程图运动目标检测——差分相乘法背景差分算法流程图运动目标检测——背景差分法BSED算法流程图运动目标检测——背景差分与边缘检测结合算法（BSED）TFED算法流程图运动目标检测——三帧差分和边缘检测结合算法（TFED）运动目标检测——W4算法基本原理:用最小灰度值、最大灰度值和邻间差分最大值来描述背景模型，其中邻间差分最大值是相邻两帧图像之间灰度差分最大值。算法检测原理如以下公式所示。(,)Minxy(,)Maxxy(,)Difxy()Bx0,((,)(,))(,)((,)(,))1,MinxykDifxyIxyMaxxykDifxyelse运动目标检测——W4算法第45帧图像不同k值检测结果对比图k=1k=3k=5待检测图像例1：运动目标实时监控及报警系统开发研究内容运动目标检测模块：W4运动目标检测算法远程视频监控及报警系统远程报警模块：GPRSMODEM发送短信和彩信报警运动目标实时监控及报警系统的设计与开发•路线图W4算法检测目标存储彩信图像显示检测结果初始化数据库报警信息GPRSMODEM利用数据库接口发送信息用户接收报警信息系统反馈报警情况视频序列运动目标实时监控及报警系统技术路线图移动通信技术中使用时间最长、用户最多的网络是2G/2.5G网络。GSM全球移动通信系统/GPRS通用分组无线服务USB接口GPRSMODEM硬件设备连接效果图运动目标实时监控及报警系统的设计与开发远程报警模块运动目标实时监控及报警系统的设计与开发系统界面设计系统界面设计效果图运动目标检测模块报警模块数据库管理模块运动目标实时监控及报警系统系统测试结果系统测试结果运动目标实时监控及报警系统的设计与开发•测试结果用户接收报警信息结果演示：运动目标检测系统例2：基于视频分析的运动目标检测系统运动目标检测算法流程图背景初始化及更新目标检测视频帧图像后处理运动目标预处理预处理:去噪和亮度归一化背景建模:改进的均值滤波背景建模法目标检测:差分图像分割后处理:涂抹去噪和填充空洞步骤1：建立一个视频流滑窗用来缓存前L帧视频图像;步骤2：将图像的颜色值的变化范围0-255划分为n个区间：[0,N],[N,2N],…[(n-1)N,255],N=255/n；步骤3：对于每个像素点的每一个颜色通道，先统计滑窗时间里每个区间内颜色分量值在帧视频图像中出现的次数，然后计算出现次数最多的区间内所有值的平均值，并用它来作为背景模型在该点的颜色值：101(,)(,)mttiiBxyIxym基于视频分析的运动目标检测技术背景建模背景建模基于视频分析的运动目标检测技术背景建模目标检测算法流程图带阴影的运动目标背景减∑TN差分图像阈值分割Y背景和当前帧基于视频分析的运动目标检测技术目标检测差分图像2D交叉熵分割交叉熵分割0101()log()log()()()kLiiiikiiDkipipmkmk最小分离度阈值:基于视频分析的运动目标检测技术阈值分割◦实现了基于颜色不变特征等经典的SR算法◦结合颜色不变特征、混合高斯阴影模型和边缘检测提出了一种阴影去除方法基于视频分析的运动目标检测技术阴影去除（SR）SR算法流程图带阴影的运动目标基于GMSM的阴影验证并去除当前背景当前帧边缘检测边缘检测边缘差分二值化轮廓提取边缘二值化去除阴影的运动目标基于c1c2c3颜色空间的阴影检测1.基于颜色的阴影去除2.引入边缘检测3.轮廓提取基于视频分析的运动目标检测技术阴影去除（SR）基于颜色不变特征的阴影检测基于高斯混合阴影模型的阴影验证123arctan()max(,)arctan()max(,)arctan()max(,)RcGBGcRBBcRG(,)(,)111(,)(,)222(,)(,)333BxyIxyBxyIxyBxyIxydccdccdcc基于视频分析的运动目标检测技术阴影去除（SR）——基于颜色的阴影去除基于视频分析的运动目标检测技术阴影去除（SR）基于视频分析的运动目标检测技术边缘检测基于视频分析的运动目标检测技术运动目标提取演示：室内人流量统计原型系统第四次上机安排：时间：12月1日（周一）8:00-11:50（1-4节）地点：计算中心T07内容：任选一种方法检测视频中的运动目标，并分析实验结果。方式：自行完成要求：上机时带上选好的有运动目标（建议单个目标，如车，行人）的视频，可带自己的电脑。关于实验作业（40%）1）考试（暂定12月22日）前上传至ftp:(只上传上机报告附源代码和注释）不要上传视频；2）验机：机房或上课展示关于期末考试（60%）1）考试时间地点另行通知（班长）2）考试方式：闭卷3）考试题型（填空题，简答题，计算题，分析应用题，编程题）