一种新的视频镜头边界检测-及关键帧提取方法

一种新的视频镜头边界检测及关键帧提取方法方方勇勇计算机科学与工程系计算机科学与工程系上海交通大学上海交通大学20042004年年1111月月1212日日内容提要„基于内容的视频检索简介„镜头边界系数模型„基于镜头边界系数的镜头边界检测„基于镜头边界系数的关键帧提取1.基于内容的视频检索简介基于内容的视频检索：基于内容的视频检索：„对视频数据中蕴涵的视觉和语义内容进行计算机处理、分析与理解并根据内容进行检索，其本质是对无序的视频数据结构化，提取视觉与语义信息，保证视频内容能被快速检索。基于内容的视频检索是与以往基于整个视频文件的检索相对应，是基于视频数据局部且与内容相关的检索。关键问题是视频的组织与索引，包括视频结构分析、视频内容分析、组织与索引。视频结构分析：视频结构分析：帧－镜头－情节－节目帧－镜头－情节－节目视频内容分析：视频内容分析：低层内容建模（颜色、纹理、形状、空间关系、运动信息等）低层内容建模（颜色、纹理、形状、空间关系、运动信息等）中层内容建模（视频对象）中层内容建模（视频对象）高层内容建模（语义概念等）高层内容建模（语义概念等）视频索引：视频索引：BB--树、树、RR--树、树、LIFTLIFT索引结构等，难以处理高维问题索引结构等，难以处理高维问题CBVRCBVR与与：：基于内容的视频检索至少从两个方面与发生紧密联系：第一，视频信息的获取；第二，视频数据的传输。在上实现基于内容的视频检索主要有两种形式：第一，C/S或B/S结构；第二，视频搜索引擎。2.镜头边界系数模型邻域窗帧差邻域窗帧差：：镜头边界相似系数：镜头边界系数：镜头边界系数的特点：镜头边界系数的特点：„具有良好的抗噪声帧能力；„对运动不敏感，具有良好的鲁棒性；„额外计算量小；„两边邻域一致变化时，系数才比较大，理想情况下为1。3.基于镜头边界系数的镜头边界检测大体上可以分为三类：第一，基于帧差的镜头边界检测方法；第二，基于模型的镜头边界检测方法；第三，基于学习的镜头边界检测方法。镜头边界检测方法：镜头边界检测方法：第一，只使用镜头边界系数的镜头边界检测－－固定阈值第二，结合相邻帧差的镜头边界检测－－自适应阈值结合相邻帧差的镜头边界检测：结合相邻帧差的镜头边界检测：自适应阈值：实验结果：实验数据集：评价标准：4.基于镜头边界系数的关键帧提取有两个问题需要解决：第一，关键帧数目；第二，关键帧位置。关键帧提取策略：第一，设置一个最大关键帧数M；第二，每个镜头的非边界过渡区的第一帧确定为关键帧；第三，使用非极大值抑制法确定镜头边界系数极大值，并排序，以实现基于镜头边界系数的关键帧提取。Thanks!