数字音视频技术实验指导书

《数字音视频技术》实验指导书北方民族大学信息工程系2012年三月目录《数字音视频技术》教学大纲........................................................1图像、语音和网络处理系统简介....................................................4实验一运动图像检测..................................................................18实验二JPEG2编码解码..............................................................21实验三MPEG-2编码解码.............................................................25实验四H.263编码解码...............................................................30实验五H.264/AVC编码解码.......................................................35实验六H.264/AVC帧间编码.......................................................40《数字音视频技术》教学大纲(供信息工程本科专业使用)适用专业：通信工程、信息工程课程类别：专业任选课课程性质：选修课实验类别：专业实验一、学时与学分1.课程总学时：542.课程总学分：2.53.实验学时：124.实验学分：0二、实验教学目标与基本要求本课程是理论性较强的课程，实验教学可以加深学生对理论教学的理解，提高学习的兴趣和动手能力，为将来进一步的数字音视频技术的学习与使用打下基础。设置《数字音视频技术》实验的目的是要让学生理解实际应用中如何处理数字音频、视频的输入与输出；主要任务是使学生深入理解和掌握数字音频，视频方面的一些基本处理技术。三内容简介实验内容主要包括：实验一运动图像检测。在ICETEK-DM642-PCI板上实现多通道图像的动态检测输入，将摄入的视频图像首幅作为参考帧，计算当前输入与参考帧的差别，产生检测图。实验二JPEG2编码解码。在ICETEK-DM642-PCI板上实现JPEG2的编码解码，将摄入的视频图像首先进行编码，产生JPEG2码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验三MPEG-2编码解码。在ICETEK-DM642-PCI板上实现MPEG-2的编码解码，将摄入的视频图像首先进行编码，产生MPEG-2码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验四H.263编码解码。在ICETEK-DM642-PCI板上实现H.263编码解码，将摄入的视频图像首先进行编码，产生H.263码流，再由解码程序处理该码流，生成目标视频送显示设备显示。实验五H.264/AVC编码解码。在JM8.4视频标准测试模型上，实现Foreman.qcif等视频序列的编码解码，并修改一些基本参数，查看结果。实验六语音滤波处理。设计一个语音采集-回放任务，用48K/秒的采样率采集立体声音频输入，用给定的FIR滤波参数处理后再播放出来。四、参考教材1、《数字视频图像处理》，全子一编著，电子工业出版社，2005年。2、《数字视音频技术》，刘毓敏编著，电子工业出版社，2002年。3、《数字图像压缩编码》，张春田，苏育挺，张静编著，清华大学出版社，2006年。五、考核方式以每次实验验收和实验报告评阅的方式进行考核。六、实验设备及器材配置实验设备瑞泰生产的ICETEK-DM642-PCI图像、语音仿真实验系统，共13套。计算机一台。七、实验项目一览适用专业、年级信息工程、通信工程专业三、四年级总学时／实验学时54／12序号实验项目名称实验内容摘要学时实验要求实验类型每组人数面向专业编号备注1运动图像检测将摄入的视频图像首幅作为参考帧，计算当前输入与参考帧的差别，产生检测图2必做验证型2080609Y2JPEG2编码解码将摄入的视频图像首先进行编码，产生JPEG2码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y3MPEG-2编码解码将摄入的视频图像首先进行编码，产生MPEG-2码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y4H.263编码解码将摄入的视频图像首先进行编码，产生H.263码流，再由解码程序处理该码流，生成目标视频送显示设备显示2必做验证型2080609Y5H.264/AVC编码解码在JM8.4视频标准测试模型上，实现Foreman.qcif等视频序列的编码解码，并修改一些基本参数，查看结果2必做综合型2080609Y6语音滤波处理用48K/秒的采样率采集立体声音频输入，用给定的FIR滤波参数处理后再播放出来2必做验证型2080609Y制定人：马宏兴2006年12月24日审核人：张广忠2006年12月30日批准人：任维桢2006年12月31日图像、语音和网络处理系统简介一、硬件清单1．DSP系统板(1)ICETEK-DM642-PCI系统板1块。(2)系统板+5V供电电源转接线1根，两边均为带孔的插头。2．仿真器（可选）(1)ICETEK-5100USBV2.0仿真器1个，JTAG接头带封针。(2)USB电缆连接线1根，两边插头一扁一方。3．摄像头(1)标准PAL制摄像头1个。(2)摄像头供电+12V电源转接线1根。(3)视频转接线1根，一端为Q9插头连接摄像头，另一端为莲花插头连接DM642系统板。(4)标准PAL制摄像头支架1个。4．TV显示器(1)标准PAL/NTSC制TV显示器1个。(2)显示器信号转接线1根，一端有黑色与TV显示器接头连接的插头，另一端有黑色带孔+12V电源连接插头，黄色和红色莲花视频输入插头。(3)标准PAL/NTSC制TV显示器支架1个。5．其他连线(1)串行通信连接线1根。两端均为“D”形9芯插头。(2)网络连接线1根。(3)音频信号转接线2根。两端均为三触点立体声插头。6．实验箱(1)三芯220V电源连接线一根。二、硬件安装1．将与ICETEK-DM642-IDK-M有关的电源切断，保证所有电缆均不带电操作。2．在连接前使用者需要释放身上带有的静电，以防静电击毁集成电路器件。3．按照实验需要连接硬件，未使用的连线可以不接。4．必须连接的连线：外接220V电源连接线、USB连接线、JTAG连线、DSP系统板+5V电源连接线。5．做视频输入/输出实验时需要的连线：摄像头+12V电源连接线、复合视频输入连线、第一路复合视频输入连线、第二路复合视频输入连线；连接视频连线接头、显示器+12V电源连接线、复合视频输出连线、VGA输出连线(来自VGA显示器)。6．做音频输入/输出实验时需要的连线：音频输入连线(音频信号转接线)、音频输出连线(耳机或扬声器输入连线)。7．做串口输入/输出实验时需要的连线：RS-232串口通信线。8．做网络输入/输出实验时需要的连线：标准网络连线。三、ICETEK-DM642-PCI评估板简介图像、语音和网络处理系统是建立在ICETEK-DM642-PCI评估板基础上的实验系统，ICETEK-DM642-PCI评估板是一个低功耗独立的开发平台，可对TI的C64xxDSP系列进行评测和开发应用。ICETEK-DM642-PCI评估板还可以作为TMS320DM642DSP芯片设计的硬件参考板。图1DM642评估板示意图ICETEK-DM642-PCI评估板的主要特点包括：600MHz的TMS320DM642DSP芯片；独立的、标准的PCI总线结构，可以作为协处理板使用；4路视频端口——PAL/NTSC制式或S端子；4M*64bit同步动态存储器（SDRAM），存储多达32帧图像；8~32M位Flash，可以写进大量程序，具备自启动功能，可作为嵌入式的产品使用；AIC23立体声数字信号编解码器；10~100M以太网端口；通过编写在FPGA内部的寄存器，实现对板卡硬件功能的软件配置；导入加载选项配置（BootLoader）；板上JTAG仿真接口；8个用户指示灯；单+5V电压供电；扩展背板接口；标准RS232串口通讯：两路，每路可高于115.2k/s。ICETEK-DM642-PCI评估板上的DSP芯片通过64bit的EMIF接口或8/16bit的3路视频接口连接板上外围设备。SDRAM、Flash、FPGA和UART每一个设备占用其中的一个接口。EMIF接口也连接扩展背板接口，扩展背板接口用来连接背板。评估板上的视频解码器和编码器连接到视频端口和扩展连接器上。评估板上的2个解码器和1个编码器符合标准规范。OSD功能由位于视频输出端口和视频解码器之间的外部FPGA执行。评估板上的AIC23多媒体编解码器允许DSP进行模拟音频信号的输出和接收。I2C总线用来控制编解码器端口，McASP被用来控制数据。模拟信号通过3个3.5mm的音频插座进行输入输出，其相应的分别是麦克风输入（microphoneinput）、直接输入（lineinput）和直接输出（lineoutput）。编解码器可以选择麦克风输入或直接输入作为主动输入，模拟输出被指定为直接输出接口。McASP可以通过软件重新设定成为一个扩展接口。评估板包括八个指示灯，这些指示灯也是通过读写FPGA寄存器来进行控制的，可以利用这些指示灯进行交互式的反馈试验。ICETEK-DM642-PCI评估板上有两个配置开关，允许用户对复位后的DSP进行状态控制选择。评估板上的配置开关分别标示为S1和S2。开关S1配置板卡的导入方式，导入方式在DSP开始执行时使用。默认情况下，开关量被配置在EMIF导入小模式下（输出8bitFlash）。下表显示了开关S1的设置。插上跳线帽连通为ON，拔下跳线帽断开为OFF。表1开关量S1配置方式S1-2S1-1配置描述OffOffNoBootOffOnHPI/PCIBootOnOffReservedOn*On*EMIFbootfrom8-bitFlash*开关量S2控制选择DSP的模式和PCIROM的使能。下表显示了开关S2的设置。表2开关量S2-1配置方式S2-1配置描述Off*PCIEEPROMDisabledOnPCIEEPROMEnabled表3开关量S2-2配置方式S2-2配置描述Off*LittleEndianModeOnBigEndianMode注：“*”为缺省设置下图显示了开关变量在ICETEK-DM642-PCI评估板上的具体位置。图2配置开关S1和S2位置ICETEK-DM642-PCI评估板的运作是通过主电源（J10）输入+5V电源或通过PCI插槽供电。在内部，+5V输入电源被整流分为+1.4V和+3.3V。+1.4V的电压被提供给DSP处理器，+3.3V的电压提供给DSP内的I/O和评估板上其他芯片。电源的端口是2.1mm的桶式插孔。单独的电源芯片用来为FPGA芯片和视频输入输出提供电压。四、实物描述4.1评估板版面布局ICETEK-DM642-PCI评估板为290×110mm的多层板，由一个外扩的+5V电源供电。图3显示了ICETEK-DM642-PCI评估板的布局示意图。图3ICETEK-DM642-PCI评估板4.2连接器ICETEK-DM642-PCI评估板为了用户在板卡上存取各种信号，共提供了24个连S1-2S1-1S2-2S2-1J1J2J3J4J5J6J7J8J9J10J11J12J13_1J13_2J14J15J16J17J18J19(背面)J21DC_P1DC_P3DC_P2接器。表4：ICETEK-DM642-PCI评估板连接器连接器针脚功能J14S端子视频输出J22视频输出-红或色度J32视频输出-绿