Group09基于内容的视频索引与检索最终

组长：晁祥东20111120097组员：吴逸尘20111120080贾井泉20111120040沈董擎20111120056陈娴静20111120138专业：数字媒体技术教师：李震雄基于内容的视频索引与检索提要简介和问题描述12应用举例34总结5提问解决方案的原理和技术简介和问题描述简介和问题描述随着多媒体技术和网络技术的飞速发展，视频在多个领域得到广泛地应用。对这些海量的而且包含大量非结构化信息的数据进行组织、表达、管理、查询和检索成为迫切的需求。因此基于内容的视频检索(Content-BasedVideoRetrieval，CBVR)成为近年来研究的热点。简介和问题描述视频数据特点1.较高的信息分辨率2.关系复杂，数据组织非结构化3.多样性及模糊性解决方案的原理和技术视频索引与检索的方法1.基于元数据的方法2.基于文本的方法3.基于音频的方法4.基于内容的方法5.综合的方法解决方案的原理和技术基于镜头的视频索引与检索视频结构化图解决方案的原理和技术基于镜头的视频索引和检索过程关键技术镜头分段特征分析关键帧提取视频结构分析提问基于镜头的视频索引和检索关键技术有哪些？镜头检测和分段姓名：陈娴静专业：数字媒体技术教师：李震雄镜头检测和分段视频是一种时间媒体数据，他不容易被管理，在视频数据由粗到细的顺序划分为四个层次：视频场景镜头帧而镜头是视频数据的基本单元镜头检测和分段一般来说，在视频情节内容发生变化时，会出现镜头切换，即从一个镜头切换到另一组镜头内容。因此，通过视频检索实现对视频镜头的切分，就是将原始连续视频分成长短不一的镜头单元。镜头切分的好坏会直接影响下一步视频检索结果的准确性。镜头检测和分段在镜头切换时，切换点前、后两帧通常在内容上变化很大，镜头的分段就需要一个合适的镜头切分阈值来判断是否出现了镜头切换，是否需要镜头切分。（阈值是否合适，没有一种客观的方法，通常都需要依靠主观判断，人为的选取合适的阈值）镜头切换镜头的切换有两种：突变和渐变突变（AbruptTransitionAT）：是指前一个镜头的尾帧被下一个镜头的首帧快速代替，是两个镜头之间最简单的切换渐变（GradualTransitionGT）：从视频编辑的角度看，渐变主要是通过色彩编辑和空间编辑得到，是指前一个镜头的尾帧缓慢的被下一个镜头的首帧代替，其中包括淡入淡出，隐现等。镜头内的运动在体育节目的转播，新闻，银行监控视频当中，几乎没有镜头的切换，对于这些视频，人们关心的主要是镜头内物体的运动镜头内的运动常见的几种对象运动归纳如下：出现，消失，进入，退出，运动，停止通过对以上对象运动的分析，可实现对监控视频的基于内容的检索突变镜头检测帧间差值：利用颜色空间HSV，色调Hue，饱和度Saturation和亮度值Value颜色直方图计算相邻两帧之间的差值突变镜头检测边界检测一般地，一个镜头内部的各帧之间的差异不会太大，相邻帧间的差值相对稳定在某一个范围之内，即围绕某个均值上下波动。而当发生镜头转换时，相邻帧之间差值的这种稳定性将被打破，产生较大的帧间差值。可以利用镜头内的这种稳定性进行突变镜头的边界检测。突变镜头边界检测算法在进行镜头切换检测时，只考虑当前帧之前有限长度内的帧间差值信息。这个长度通常是前一镜头结束后的第1帧至当前帧的前1帧，可以认为这是一个可变长度的滑动窗口。突变镜头边界检测算法计算这一窗口内的帧间差值的平均值，可以认为这一平均值近似的反映了整个镜头的帧间差值的平均值，且随着窗口长度的增加，这种近似的程度越来越高。如果当前计算得到的帧间差值与这一平均差值之间差异达到一定程度（也可以说是某一阈值），就认为当前帧是下一个镜头的起始帧。突变镜头边界检测算法设窗口内相邻帧间差值的平均值为Mean当前帧间差值为DF可变窗口长度为winmulti为一预先设定的比例系数(它体现了当前帧间差值和窗口内帧间差值的平均值之间相差的程度)突变镜头边界检测算法(1)如满足DF≥multi×Mean，则认为当前帧为下一镜头的起始帧，设置窗口的起点，并且设顶Mean=0，win=1；(2)否则，win=win+1，重新计算窗口内的帧问差值平均值；(3)继续处理下一帧视频图像。基于聚类的关键帧提取方法姓名：吴逸尘专业：数字媒体技术教师：李震雄基于聚类的关键帧提取方法常见的关键帧提取方法·基于颜色特征按顺序排列帧序列，对相邻帧使用颜色直方图进行分析·基于运动分析对摄影机运动分为焦距变化和角度变化，比较重叠范围·基于聚类基于聚类的关键帧提取方法·基于聚类的方法聚类：将物理或抽象对象的集合分成由类似的对象组成的多个类的过程方法：（1）选取聚类质心，设定阈值（2）对非聚类质心的帧与当前存在的聚类质心进行相似度鉴定，鉴定标准为阈值（3）相似度高于阈值的加入聚类（4）若相似度低于所有已存在聚类质心，则形成一个新的聚类质心（5）重复3、4步骤，直到所有帧被分配。形成多个聚类。（6）选择距离聚类中心作为关键帧，如果聚类形成的簇内变化较大，则选取中心和距离中心最远的帧作为关键帧基于聚类的关键帧提取方法·一个典型的基于聚类的关键帧提取算法K-MEANS算法算法简要步骤：(1)从n个数据对象中任意选择k个对象作为初始聚类中心;(2)计算每个数据对象与各个中心的距离,根据最小距离准则将他们进行分类;(3)根据每个聚类中所有对象的均值(中心对象),计算样本集中每个对象与这些中心对象的距离,如同第二步再次进行分类;(4)重复二、三步,直到聚类中心的变化小于某个给定的阈值,停止运算,得到最后的聚类结果。存在可优化方案：该算法中对于k是任意选择的，也就是依赖于人工提供，结果带有随机性缺少效率基于聚类的关键帧提取方法·一个对于常规K均值聚类算法的改进方案基于自适应K均值聚类的关键帧提取算法简要步骤：(1)对镜头划分子镜头，对子镜头进行分析，分类为“变化较大”和“变化较小”两种。(2)对于变化较大的子镜头进行聚类分析，同时给定一个较大的k值，选取前k个数据对象作为聚类中心(3)其余数据依据相似度取最大的那个加入对应聚类，计算聚类中心之间的相似度，大于阈值的合并聚类，同时k-1(4)对聚类内进行判定，与平均相似度距离最小的两个对象选择一个成为新的聚类中心（5）生成的k个聚类中心成为关键帧，变化较小的子镜头选尾帧做关键帧基于聚类的关键帧提取方法·一个关键帧提取的应用实例——视频压缩编码I帧：关键帧，视频编码时保留完整数据P帧：向前参考帧，保留与前一张图像的差值，作为参考帧。B帧：向前后参考帧（参考I、P帧），保留与前后差值，B帧越多，压缩比越高，不作为参考帧常见BD50与网络上盗版重编码高清电影，都属于有损压缩，且方法相同，导致体积巨大差异原因在于码率（采样率）不同运动特征提取与索引姓名：沈董擎专业：数字媒体技术教师：李震雄视频中运动目标的特征提取视频中的特征提取大致分为五个步骤：1.用GMM方法进行运动区域预检测2.用IB方法对备选运动区域进行分割聚类3.用UKFB方法对每一个可能的运动目标区域进行跟踪4.对运动目标子区域聚类5.提取运动目标子区域的统计特征作为运动目标的特征沈董擎基于混合高斯模型的运动区域检测采用GMM的运动检测应用在背景变化较小的情况，即摄像机不动，背景变化就会较小，也就是所谓的局部运动特征提取技术。而摄像机运动，也就是背景会发生较大的全局运动特征提取技术，在此不做多提。GMM算法原理对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高斯混合模型是是建模最为成功的方法之一。混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型,用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点,否则为前景点。通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。1、为图像的每个像素点指定一个初始的均值、标准差以及权重。2、收集N（一般取200以上，否则很难得到像样的结果）帧图像利用在线EM算法得到每个像素点的均值、标准差以及权重。3、从N+1帧开始检测，检测的方法：对每个像素点：1）将所有的高斯核按照ω/σ降序排序2）选择满足下式的前M个高斯核：M=argmin(ω/σT)3）如果当前像素点的像素值在中有一个满足：就可以认为其为背景点。4、更新背景图像，用在线EM算法。提问视频对象特征提取和视频分割技术姓名：贾井泉专业：数字媒体技术教师：李震雄提要简介和问题描述12应用举例34总结5提问解决方案的原理和技术简介和问题描述1、视频对象特征提取和视频分割技术2、视频对象分割的一般步骤3、视频对象分割的主要方法解决方案的原理和技术视频对象分割的一般步骤1、对原始视频数据进行简化2、对视频数据进行特征提取3、基于某种均匀性标准来确定分割决策,根据所提取特征将视频数据归类4、进行相关后处理,以实现滤除噪声及准确提取边界,得到准确的分割结果解决方案的原理和技术视频对象分割的主要方法半自动分割1、帧内分割2、帧间分割应用举例随着视频对象分割提取技术研究的深入,视频分割在视频编码、广播电视、对象识别、对象跟踪、视频监控、电视电话会议、视频数据库检索等多媒体应用领域有非常重要的应用。头肩序列（HSS）解决方案的原理和技术视频对象分割的主要方法自动分割方法1、基于运动信息的时空分割法2、基于变化区域检测的时空分割法3、基于运动跟踪的时空分割法