数字媒体技术概论 -- 12媒体传输与管理

数字媒体技术概论--媒体传输与管理2媒体分发和传输为什么需要研究媒体传输（而不是仅仅采用传统的文件传输方法）？与其他数据一样，多媒体数据存储在文件系统中。但多媒体数据的访问有特别的时限要求。例如，视频必须以每秒24-30帧的帧率来显示，而视频的传输和分发必须确保此帧率。即视频传输有QoS（服务质量）要求。网络带宽制约带宽的三个因素：1、服务端接入带宽2、客户端接入带宽3、从服务端到客户端之间的带宽在线音乐或影片的不通畅原因：1宽频问题实际中的网络速度是理论上值的10%-30%之间2不稳定的连接速度网络服务端、线路、接受端不稳定性媒体分发和传输媒体流化/流媒体Streamingisdeliveringamultimediafilefromaservertoaclientsuchthatitcanbeprocessedasasteadyandcontinuousstream-typicallythedeliveroccursoveranetworkconnection.流媒体(可流化媒体)：Video、Audio、PowerPoint、Flash/Shockwave、VR、3DSERVERCLIENTstream媒体分发和传输流化方式分类持续下载(Progressivedownload)：当多媒体文件分发并存储到客户端后才支持媒体重放；实时流化(Real-timestreaming)：多媒体文件由流媒体服务器向客户端连续、实时传送，客户不必等到整个文件全部下载完毕7媒体分发和传输媒体分发方式单播(unicast)：源(服务器)和目的地(客户端)之间进行一对一的传输。如果目的地量太大，源和网络的负载能力有限，会超负荷造成播放质量下降。多播流(Multicast)：源和目的地之间进行多对一的传输，网络中的同一多播组中的目的地共享同一信息流，可以有效的节省网络带宽。广播(Broadcast)：流媒体从一个源(服务器端的应用)发送出去后，同一网段上的所有目的地(客户端应用)均可以接收到，广播可以看作组播的一个特例。8媒体分发和传输流媒体传输协议实时传输协议(RealTimeTransportationProtocol,RTP)实时流协议(RealTimeStreamingProtocol,RTSP)实时传输控制协议(RealTimeTransportationControlProtocol,RTCP)资源预约协议(ResourceReservationProtocol,RSVP)RTSP协议流媒体的三大平台公司MicrosoftRealNetworksAppleRealNetworks最早的流媒体播放软件是RealNetworks的RealPlayer。RealPlayer最早称为RealAudio，仅播放音乐文件。兼并了Xing公司（第一个采用串流式通道影音播放程序Streamworks）。RealPlayer7.0、8.0、9.0、….RealOnePlayer与Realplayer同属于Real公司产品。RealONEPlayer是新的视音频流播放系统，用以取代该公司三种主打产品，即RealPlayer、RealJukebox和GoldPass。RealONE一大特点就是多层画面功能，即当一个屏幕播放影碟或歌曲的时候，旁边将有一个侧屏幕提供有关影碟或歌曲的信息或广告。RealONEPlayer是RealPlayer和RealJukebox的结合体，与XP系统兼容性很好。RealONE在播放网络视音频流时，表现更佳MicrosoftWindowsMediaPlayer4.0、5.0、6.0、7.0、8.0、9.0、10.0、WindowsMediaPlayer11-windowsxpWMP9.0AppleQuickTime6QuickTimeProForWindowsv7.1.0流媒体文件格式的分类1、RM格式：这是由RealNetworks公司开发的一种新型流式视频文件格式。2、MOV格式：MOV也可以作为一种流文件格式。QuickTime能够通过Internet提供实时的数字化信息流、工作流与文件回放功能。3、ASF格式：这是由微软公司开发的流媒体格式，是一个在Internet上实时传播多媒体的技术标准。流媒体的应用互联网的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒体业务正变得日益流行。远程教育宽带网络视频点播互联网直播视频会议远程教育在远程教育中，最基本的要素是把信息发送到学生那一段去，而传送的数据是多元化的，视频，音频，文字，图片等。传递的速度等问题。流媒体下的教育信息化水平。宽带网络视频点播宽带网络视频点播（VOD，VideoOnDemand）。最初应用于局域网和有线电视网中。存在问题：数据量、传输的速率、服务器流媒体的集群和解码技术互联网直播卫星直播、现场直播等之外的直播手段之一。体育直播。新浪体育直播。视频会议视频会议是流媒体的一种商业用途。通过流媒体可以实现点对点的通讯，最常用的就是视频电话。媒体分析与检索媒体检索方面存在的挑战不能直接进行基于文本的查询和检索；怎样分析或描述媒体(图像/视频/音频)内容和语义；如何索引图像/视频/音频；快速检索处理和准确的检索结果；VideosegmentsStillregionsAudiosegmentsMovingregions27搜索引擎概念信息管理的传统方式树状目录优点：简单，直观缺点：管理困难，协作困难需要“搜索”根据一定线索查找需要的信息“线索”：文件的部分内容搜索引擎根据内容管理信息的方式28搜索引擎概念搜索引擎扁平式信息管理：从“线索”直接到“信息”北京芙蓉姐姐美眉流得滑…………29为什么关注搜索引擎直接原因：搜索引擎可以做很多事情查找所需要的各种信息论文、标准、软件、音乐、电影……企业运作科学研究学习进修娱乐休闲30为什么关注搜索引擎直接原因：搜索引擎可以做很多事情查找所需要的各种信息为什么需要查找？我们不知道需要的东西在哪里为什么我们不知道？因为东西太多了31为什么关注搜索引擎间接原因：信息爆炸中文WEB：75TB左右互联网(2002)：520PB左右(1PB=1024TB)浅层WEB:167TB深层WEB:60-89PBE-mail:430PB即时消息:274TB来自“Howmuchinformation2003”比较：常用磁盘:80-500GB常用盘阵：0.5-10TB文件系统：4-32TB数据中心：40-100TB已实际安装的分布式文件系统：10-100TB32为什么关注搜索引擎间接原因：信息爆炸搜索引擎把海量信息有序地组织起来，提供方便的检索手段允许人们找到需要的信息终极原因：搜索引擎的重要性控制了搜索引擎就控制了互联网33为什么关注搜索引擎终极原因：搜索引擎的重要性Google：$159BIntel:$119BYahoo：$38BMicrosoft：$262BWal-mart:$199B百度：$8.44B新浪：$2.35B搜狐：$1.79B联想：$6.11B来源：finance.google.com,2008.2.2134为什么关注搜索引擎搜索引擎现状网页搜索：Google占有垄断地位日搜索量Google:90M,MSN:28MYahoo:60M,AOL:16M,Ask:13M,其它：6M来源：searchenginewatch.com，2006.7多媒体搜索：技术尚不成熟GoogleImageYoutubeFlickr35为什么关注搜索引擎发展策略日本的发展策略网页搜索：美国已经领先，放弃多媒体搜索：尚可一争，大力支持我们的发展策略比美国做得更好！现有搜索引擎仍然不完美人才，市场36搜索引擎结构最终目标：方便用户获取需要的信息信息1.获取/存储2.理解3.索引4.输入5.显示37搜索引擎技术数据获取与存储数据获取：Spider,Crawler,Robot如何并行下载？哪些数据是新的，哪些是已有的？新增加的页面部分更新的页面论坛、blog现有搜索引擎未见公开报道使用何种技术主要是工程性问题38搜索引擎技术数据获取与存储数据存储一致性：大规模并行访问不破坏数据可靠性：硬件损坏不丢失数据扩展性：总体性能与硬件成线性关系分布式文件系统Google：GFSLustre39搜索引擎技术理解提取数据的语义数学上如何表示语义？如何把数据从原始形式转换成所需要的形式？矢量模型文字串切分成词每个词作为一维，词的出现频率作为度量标准机器学习技术提取文档的特征并进行分类40搜索引擎技术索引找到与某个语义相关的文档倒排文件快速找到B树，Hash表更快并行查找，限时合并41搜索引擎技术输入获取用户的需求关键字检索分类浏览显示组织相关信息输出给用户相关项列表重要性排序：PageRank摘要42搜索引擎技术尚存在的问题输入：关键字检索并不方便假设1：用户很清楚自己需要什么可能例外：新闻检索，多媒体检索假设2：用户有能力把需求转换成合适的关键字大多数用户做得并不好某些需求难以表示成文字，特别是多媒体检索中假设3：系统有能力把文档转换成合适的关键字多媒体文档：世界难题文本文档：关键字也不一定是合适的语义43搜索引擎技术尚存在的问题理解：计算机并不真正理解文档的内容多媒体文档只能理解很小一部分语义文本文档去除垃圾内容(广告、目录等)提取结构化信息信息之间的关联44搜索引擎技术尚存在的问题显示综合信息提取与表示海量信息表示直观方便浏览……我们仍然有机会！45媒体分析与检索基于内容的媒体分析与检索(CBR)特征提取：提取反映图像/视频/音频内容的颜色、纹理等视觉特征和音频特征；语义提取：提取反映图像/视频/音频语义的描述信息；索引组织与描述：对提取的特征和描述信息进行高效索引；检索模型：支持不同类型的媒体查询与检索模式。46媒体分析与检索媒体检索系统框架StorageBrowseAVDescriptionFeatureextractionManual/automaticTransmissionEncoding(fortransmission)Decoding(fortransmission)FilterPushSearch/queryPullConf.pointsHumanormachine47基于内容的图像检索(CBIR)CBIR：基于图像颜色、纹理、形状等特征的相似性进行检索示例：颜色相似的图像48基于草图(Scratch)的图像检索49视频检索不同的检索用线索50镜头检测关键帧提取步骤：1.视频分割为镜头；2.为每个镜头计算关键帧或代表性的帧;3.基于样例的检索关键帧提取和CBVR51面向检索的视频标题文字提取52RawAudioTextExtractionRawVideoSILENCEMUSICelectriccarsaretheyarethejuryeverytoyownerhopestoplease基于语音识别的视频检索53HappyBirthdayNotestartsNoteendsNotestartsNoteends音符(note)有两个重要属性：–音调(Pitch)–持续时间(Duration)–音符可以用符号描述DoReMiFaSoLaSiDoNotenameNotepitchStaff音频检索：哼唱找歌54WavetoSymbolsApproximateStringMatchMusicDatabaseIndexingFeatureExtractionVariousMusicFormatstoSymbolsMusicDatabaseHum