视频监控与视频分析第一章绪论

二零一五年九月视频监控与视频分析北大信工2015-2016选修课任课老师赵勇等办公室：A412电话：26035353邮箱：[e-mail]基本情况课程编号：开课学期：2014总学时：45学分：3课程名称：视频监控与视频分析英文名称：VideoSurveillanceandVideoAnalytics教学方式：课堂研讨考试方式：平时作业+课程设计成绩评定成绩评定方法：研讨与报告50%课程设计50%课程主要内容视频监控与视频分析（2015-2016第一学期）课程安排9.15第一章：课程介绍1、背景2、现状9.22第二章：视频监控基础1、视频2、色彩3、图像4、视频监控9.29第三章：图像处理11、运算2、滤波3、边缘提取10.13第四章：图像处理21、形态2、去雾3、去模糊10.20第五章：图像分割方法11、彩色图像分割2、区域生长3、MSER分割方法4、二值化10.27第六章：高级图像分割21、基于图论的分割2、snake3、levelset11.3第七章：图像基本特征1、颜色特征2、纹理特征描述3、形状特征描述4、代数特征（统计特征）6课程主要内容（2）12.8第十三章：运动目标检测1、帧差2、高斯背景3、VIBE4、CodeBook12.15目标跟踪1、线性预测2、MeanShift3、卡拉曼滤波（维纳滤波）12.22第十四章：深度学习：1、显著性检测：2、DeepLearning3、卷积神经网4、编码与波尔兹曼机12.29（课程设计汇报）11.10第八章：局部特征1、SIFT2、SURF3、ORB4、HOG与行人检测11.17第十章：分类器1、k-means2、最近邻分类器3、贝叶斯分类器11.24第十二章：高级分类器1、神经网络2、SVM12.1第十一章：Adboost1、HARR特征2、人脸检测3、决策树参考资料教材：龚声蓉、刘纯平季怡，《复杂场景下图像与视频分析》，人民邮电出版社，2013-9-1参考资料：汪光华，《智能安防——视频监控全面解析与实例分析》，机械工业出版社，2010-7-1911事件-改变世界格局的事件8七七伦敦地铁爆炸案昆明恐怖事件10新疆恐怖事件11近五年全国案件数量翻番高额安防投入无法抑制案件数量大幅增长的技术原因是什么呢？公安部3111试点工程在2005年8月公安部提出了开展建设城市报警和监控系统的意见。在此之前，公安部选择了四个平安城市建设试点：北京的宣武区、杭州市、江苏的苏州市和山东的济南市，都是经济比较发达的地区。在试点的基础提出了“3111工程”。“3”是表示在省市县三级。第一个“1”是在每一个省确定一个市，第二个“1”是每个市确定一个县，第三个“1”是有条件的县设定一个区或者一个派出所，计划在08年完成。在全国确定了22个城市作为“3111工程”的试点城市。13街道、区、市、省、国家五级监控网我国已建成世界最大的视频监控网国家多级联网监控工程今年将基本建成2005年国务院启动平安城市已在660个城市建设镜头数目超过2000万投资超过3200亿元全世界首个大规模城市联网监控工程建设平安城市-天网工程平安城市建设从科技强警战略和“3111”试点工程两个大项目开始，第一批科技强警示范城市历时两年，21个示范城市建设政府投资近55亿，社会各界投资近百亿；2006年第二批38个示范城市的直接和间接投资超过200个亿；截至2008年第三批科技强警开始建设，示范城市总量已达到180多个。公安部要求：2014年1月至2015年6月，要完成四项任务要求全国地市级和东部地区100％、中部地区90％、西部地区80％以上的县级公安机关建成视频图像信息共享平台；15天网办16长沙“天网工程”是全国第一个采用全高清成规模建设的安防系统，点全部采用高清摄像头，24小时全天候实时4万只高清“天眼”将在城市上空编织出一张严密的安全网。17安防应用范围日趋广泛家庭…社区…社会化、民用化普遍应用商业区…学校…重点领域核心部门行业应用日趋广泛18安防应用层面日益深入民用化需求国家层面的需求社会商业化领域普遍需求重点应用领域直接需求19安防技术发展存在的问题与变化及突破存在的问题高技术电子安防产品研发能力低，产品与核心技术多依赖进口，未能形成有序的科技创新体系；现有安防技术系统不适应集成化、数字化、网络化、智能化要求；安防管理的技术支撑环境差，数字标准,产品检测,认证评估手段较低；安防系统或网络运行管理不规范，接处警机制不健全；安防基础理论研究薄弱，制约安防技术效能发挥。变化与突破数字化、网络化、智能化、集成化是方向；建立健全安防科技创新体系；大力发展4C技术（通信/计算机/控制/多媒体显示技术）,智能建筑5A系统和智能运输ITS系统；网络技术与多种安防技术实施集成研发；创建并完善各级综合安全服务网。社会治安动态监测体系、城市预警体系和平安城市建设是机遇。重大挑战1——存不起以天津市为例分析未来存储成本的影响：天津市十二五末视频监控数据存储容量需要4665.6PB仅存储就需投入583.2亿元高清摄像头每小时产生3.6GB数据按3个月视频存储容量计算目前4T容量存储服务器5万/台报价来自IT168.com十二五末，天津将安装60万摄像头天津市《2011—2015年天津市技术防范网络体系建设规划实施方案》相当于西藏去年全年GDP总值4665.6PB全球电子行业领先的权威研究机构IMSResearch在2011年的报告中预测：“2012年全球仅新增的监控设备所需的存储规模就将达3300PB。”快速增长的存储规模和投入成为制约城市监控系统发展的重要因素重大挑战2——查不准我国刑事案件未破案率一直维持在较高水平数据来源：《中国法律年鉴》0%10%20%30%40%50%60%70%200320042005200620072008200920102011刑事案件未破案率政法委书记孟建柱指出：视频监控已成为继刑侦、技侦、网侦技术之后公安机关战斗力新的增长点长春盗车掐婴案2013年3月4日长春一辆内有两月大婴儿的汽车被盗，警方出动3500名警员展开大搜索新华社指出，斥资1.4亿元建设的视频监控网“天网工程”没能及时为搜索提供有价值的信息或线索”我国刑事案件侦破率长期在低水平徘徊，现有视频监控系统作用亟待加强德中两国刑事案件未侦破率及趋势比较重大挑战3——防不住长时间多次踩点监控数据能获取，但能发现异常么？投入3200亿建成的世界最大视频监控网基本上无法分析、预警安全异常事件PredPol在洛杉矶警局入室盗窃专项模拟测试中，预测出了25％入室盗窃案发生的时间和地点敏感部位陌生人周克华提前一月在南京多次踩点并被拍到，我们仅在事后得知2011年，世界最先进的PredPol犯罪活动预测平台在洛杉矶和圣克鲁兹部署摄像头数量快速增长席卷大街小巷、城市乡村，渗透到家庭内部和个人前设施安全:军队、边防、机关、港口、企事业单位等财产安全:银行、商店、展馆、库房、武器库等公共安全:机场、体育场馆、社区、公园、监狱等交通安全:城市交通、高速公路、铁路/地铁、隧道等生产安全：矿井生产、施工现场、食品安全等家庭安全：老弱病残监护、重要财产监控等奥巴马就职典礼5000个摄像头，伦敦50万北京50万，重庆50万，广州25万，深圳20万，…密密麻麻的摄像头联成网，加上GPS等精确的时空信息，时刻感知全球成为可能23深圳摄像头已达50万只24摄像头分辨率问题已部署的摄像头，绝大多数是标清分辨率为了识别人，图像需要清晰识别人脸的有效分别率：32x32像素在一个视野为6米宽度的图像中，人脸图像的分辨率为高清摄像机:1920*(16/600)=51像素标清摄像机:720*(16/600)=19像素采用高清甚至超高清摄像机，是今后系统设计时必须考虑的25摄像头分辨率问题：定量证据面向识别的特征提取特征：SIFT、SIFT词袋对比：与原始视频上提取特征的相似度不同QP和分辨率下的SIFT特征对比不同QP和分辨率下的SIFT词袋特征对比结论：SIFT特征所能表示的细节信息，随着画面分辨率降低或视频量化质量下降而显著减少！26摄像头分辨率问题：定量证据人/车检测任务数据：来自AVC和AVS的两个高清视频，QP:0~50工具：目前最通用的对象检测方法DPM(两种模型)DPM:~rbg/latent/结论：随着画面分辨率降低或视频量化质量下降，人/车的检测性能均有所下降！27视频大数据根据EMC委托IDC所做的研究报告：2012年全球数据总量为2.84ZB；到2020年，这个数字将上升到40ZB。注：1ZB=10亿TB全球数据总量中约有一半是监控视频数据2010年：约50%2015年：约63%2020年：约44%TheDigitalUniversein2020:BigData,BiggerDigitalShadows,andBiggestGrowthintheFarEast,Dec2012,数字宇宙（DigitalUniverse）28视频大数据大部分数据并没有分析价值。据IDC估计:2012年的数据中有23%是有分析价值的，但是被标注的只有3%，被分析的只有0.5%。2020年，将有5.8ZB的监控视频需要进行标注和分析IDC预计2020年的数据中，中国所占比例将达到21%，即有1.2ZB（12亿TB）的监控视频需要进行分析。29安全防范行业正迈向入大数据时代大数据时代已经到来安防已进入大数据时代2011年2月,Science专刊指出大数据时代已到来奥巴马宣布美国政府正式启动“大数据研究和发展计划”，认为大数据是未来世界的石油，该计划的意义堪比上个世纪的“信息高速公路计划”美国工程院院士Eric指出：我们正处在一个激动人心的时代，利用大规模有效数据分析预测建模、可视化和发现新规律的时代就要到来全国典型城市“平安城市”工程视频数据量规模注：大数据是指PB（=1015Bit)及以上级别的数据高清摄像头每小时能产生3.6GB数据，一个城市每天的数据量可达PB级别健康城市宜居城市数字城市畅通城市交通控制技防视频监控电子警察卡口地理信息身份验证物品识别定位数字通信平安城市可视化治安防控应急联动自然灾害公共卫生事件事故灾难社会安全事件数字化城市管理“智慧城市”需求带来的挑战城市本身是一个生态系统依托视觉感知/物联网系统，融治安防控和应急联动于一体3132智能监控IVS的必然性://应用---金融CompanyLogoATM监控（粘贴、人脸）银行出入口（尾随、门禁）外围周界防范（越界、入侵）金库（徘徊、尾随、违停）应用---监狱CompanyLogo监所监舍应用离开铺位检测、厕所滞留检测、攀爬检测、放风场滞留检测等监所周界应用越界检测、区域滞留、进入区域、离开区域等应用---交通CompanyLogo拥堵检测车流量统计车辆逆行停车检测车型检测车标检测视频电子卡口视频电子警察应用---公安CompanyLogo视频浓缩人脸识别模糊视频清晰化跨摄像机嫌疑目标跟踪嫌疑目标检索应用---楼宇CompanyLogo周界入侵人脸识别人数统计车辆监管尾随检测离岗检测烟火检测智能视频技术的限制CompanyLogo恐怖份子在哪算出在车内有多少人看穿浓雾黑暗场景识别4个像素的“人”=?如果人眼无法识别智能设备就更无法识别！合适的场景做适合的事情CompanyLogo有人徘徊吗？智能视频分析的准确率和使用场景的复杂性、摄像机安装高度角度密切相关，合适的场景做适合的应用。光照变化过于频繁屏幕中大部分都是树叶亮度过