基于linux下的音视频采集与传输

基于linux下的音视频采集与传输Basedontheacquisitionandtransmissionofaudioandvideounderlinux1摘要：在LINUX下实现对音频和视频的采集，并编写Socket程序将采集到的音频文件在两台主机的进程之间进行传输。关键字：LINUX音频、视频采集Socket传输基于linux下的音视频采集与传输Basedontheacquisitionandtransmissionofaudioandvideounderlinux2项目简介本项目将分成三部分来分别实现，分别为Linux下视频的采集、Linux下音频的采集、Linux下Socket传输的实现。下面将分别介绍各部分具体的实现过程。Linux下视频采集1、背景介绍V4L，其全称是Video4Linux（VideoforLinux），是在linux内核中关于视频设备的API接口，涉及开关视频设备、采集并处理视频图像信息。V4L从2.1.x版本的内核中开始出现。现在出现Video4Linux2（VideoforLinuxTwo），简称V4L2。很显然，他是V4L的改进版，修复了第一代的部分设计bug。从2.5.x开始，V4L2就被集成到内核里面去了。尽管如此，还是有一部分设备的驱动不支持新版本的V4L2，所以，有时候我们会看到V4L跟V4L2同时出现在代码里面。Linux系统中，视频设备被当作一个设备文件来看待，设备文件存放在/dev目录下，完整路径的设备文件名为：/dev/video0.2、视频采集基本步骤视频采集基本步骤流程：打开设备－检查和设置设备属性－设置帧格式－设置一种输入输出方法（缓冲区管理）－循环获取数据－关闭设备。其中打开视频设备非常简单，在V4L2中，视频设备被看做一个文件。使用open函数打开这个设备，打开这个设备有两种模式即阻塞模式和非阻塞模式。主要实现代码为：○1用非阻塞模式打开摄像头设备代码为intcameraFd;cameraFd=open(/dev/video0,O_RDWR|O_NONBLOCK);○2用阻塞模式打开摄像头设备，上述代码变为：cameraFd=open(/dev/video0,O_RDWR);应用程序能够使用阻塞模式或非阻塞模式打开视频设备，如果使用非阻塞模式调用视频设备，即使尚未捕获到信息，驱动依旧会把缓存（DQBUFF）里的东西返回给应用程序。3、Linux视频设备驱动常用控制命令使用说明设置视频设备属性通过ioctl来进行设置，ioctl有三个参数，分别是fd,cmd,和parameter,表示设备描述符，控制命令和控制命令参数。Linux视频设备驱动接口V4L2支持的常用控制命令如下：○1控制命令VIDIOC_ENUM_FMT基于linux下的音视频采集与传输Basedontheacquisitionandtransmissionofaudioandvideounderlinux3功能：获取当前视频设备支持的视频格式。参数说明：参数类型为V4L2的视频格式描述符类型structv4l2_fmtdesc返回值说明：执行成功时，函数返回值为0；structv4l2_fmtdesc结构体中的.pixelformat和.description成员返回当前视频设备所支持的视频格式；使用举例：structv4l2_fmtdescfmt;memset(&fmt,0,sizeof(fmt));fmt.index=0;fmt.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;while((ret=ioctl(dev,VIDIOC_ENUM_FMT,&fmt))==0){fmt.index++;printf({pixelformat=''%c%c%c%c'',description=''%s''}\n,fmt.pixelformat&0xFF,(fmt.pixelformat8)&0xFF,(fmt.pixelformat16)&0xFF,(fmt.pixelformat24)&0xFF,fmt.description);}○2控制命令VIDIOC_QUERYCAP功能：查询视频设备的功能；参数说明：参数类型为V4L2的能力描述类型structv4l2_capability；返回值说明：执行成功时，函数返回值为0；函数执行成功后，structv4l2_capability结构体变量中的返回当前视频设备所支持的功能；例如支持视频捕获功能V4L2_CAP_VIDEO_CAPTURE、V4L2_CAP_STREAMING等。使用举例：structv4l2_capabilitycap;iret=ioctl(fd_usbcam,VIDIOC_QUERYCAP,&cap);if(iret0){printf(getvidieocapabilityerror,errorcode:%d\n,errno);return;}执行完VIDIOC_QUERYCAP命令后，cap变量中包含了该视频设备的能力信息，程序中通过检查cap中的设备能力信息来判断设备是否支持某项功能。○3控制命令VIDIOC_S_FMT功能：设置视频设备的视频数据格式，例如设置视频图像数据的长、宽，图像格式（JPEG、YUYV格式）；参数说明：参数类型为V4L2的视频数据格式类型structv4l2_format；返回值说明：执行成功时，函数返回值为0；使用举例：structv4l2_formattv4l2_format;tv4l2_format.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;tv4l2_format.fmt.pix.width=img_width;基于linux下的音视频采集与传输Basedontheacquisitionandtransmissionofaudioandvideounderlinux4tv4l2_format.fmt.pix.height=img_height;tv4l2_format.fmt.pix.pixelformat=V4L2_PIX_FMT_YUYV;tv4l2_format.fmt.pix.field=V4L2_FIELD_INTERLACED;iret=ioctl(fd_usbcam,VIDIOC_S_FMT,&tv4l2_format);○4控制命令VIDIOC_REQBUFS功能：请求V4L2驱动分配视频缓冲区（申请V4L2视频驱动分配内存），V4L2是视频设备的驱动层，位于内核空间，所以通过VIDIOC_REQBUFS控制命令字申请的内存位于内核空间，应用程序不能直接访问，需要通过调用mmap内存映射函数把内核空间内存映射到用户空间后，应用程序通过访问用户空间地址来访问内核空间。参数说明：参数类型为V4L2的申请缓冲区数据结构体类型structv4l2_requestbuffers；返回值说明：执行成功时，函数返回值为0；V4L2驱动层分配好了视频缓冲区；使用举例：structv4l2_requestbufferstV4L2_reqbuf;memset(&tV4L2_reqbuf,0,sizeof(structv4l2_requestbuffers));tV4L2_reqbuf.count=1;tV4L2_reqbuf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;tV4L2_reqbuf.memory=V4L2_MEMORY_MMAP;iret=ioctl(fd_usbcam,VIDIOC_REQBUFS,&tV4L2_reqbuf);注意：VIDIOC_REQBUFS会修改tV4L2_reqbuf的count值，tV4L2_reqbuf的count值返回实际申请成功的视频缓冲区数目；○5控制命令VIDIOC_QUERYBUF功能：查询已经分配的V4L2的视频缓冲区的相关信息，包括视频缓冲区的使用状态、在内核空间的偏移地址、缓冲区长度等。在应用程序设计中通过调VIDIOC_QUERYBUF来获取内核空间的视频缓冲区信息，然后调用函数mmap把内核空间地址映射到用户空间，这样应用程序才能够访问位于内核空间的视频缓冲区。参数说明：参数类型为V4L2缓冲区数据结构类型structv4l2_buffer；返回值说明：执行成功时，函数返回值为0；structv4l2_buffer结构体变量中保存了指令的缓冲区的相关信息；一般情况下，应用程序中调用VIDIOC_QUERYBUF取得了内核缓冲区信息后，紧接着调用mmap函数把内核空间地址映射到用户空间，方便用户空间应用程序的访问。使用举例：structv4l2_buffertV4L2buf;memset(&tV4L2buf,0,sizeof(structv4l2_buffer));tV4L2buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;tV4L2buf.memory=V4L2_MEMORY_MMAP;tV4L2buf.index=i;iret=ioctl(fd_usbcam,VIDIOC_QUERYBUF,&tV4L2buf);AppBufLength=tV4L2buf.length;基于linux下的音视频采集与传输Basedontheacquisitionandtransmissionofaudioandvideounderlinux5AppBufStartAddr=mmap(NULL/*startanywhere*/,tV4L2buf.length,PROT_READ|PROT_WRITE/*accessprivilege*/,MAP_SHARED/*recommended*/,fd_usbcam,tV4L2buf.m.offset);上述代码在通过调用VIDIOC_QUERYBUF取得内核空间的缓冲区信息后，接着调用mmap函数把内核空间缓冲区映射到用户空间。○6控制命令VIDIOC_QBUF功能：投放一个空的视频缓冲区到视频缓冲区输入队列中；参数说明：参数类型为V4L2缓冲区数据结构类型structv4l2_buffer；返回值说明：执行成功时，函数返回值为0；函数执行成功后，指令(指定)的视频缓冲区进入视频输入队列，在启动视频设备拍摄图像时，相应的视频数据被保存到视频输入队列相应的视频缓冲区中。使用举例：structv4l2_buffertV4L2buf;memset(&tV4L2buf,0,sizeof(structv4l2_buffer));tV4L2buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;tV4L2buf.memory=V4L2_MEMORY_MMAP;tV4L2buf.index=i;iret=ioctl(fd_usbcam,VIDIOC_QBUF,&tV4L2buf);○7控制命令VIDIOC_STREAMON功能：启动视频采集命令，应用程序调用VIDIOC_STREAMON启动视频采集命令后，视频设备驱动程序开始采集视频数据，并把采集到的视频数据保存到视频驱动的视频缓冲区中。参数说明：参数类型为V4L2的视频缓冲区类型enumv4l2_buf_type；返回值说明：执行成功时，函数返回值为0；函数执行成功后，视频设备驱动程序开始采集视频数据，此时应用程序一般通过调用select函数来判断一帧视频数据是否采集完成，当视频设备驱动完成一帧视频数据采集并保存到视频缓冲区中时，select函数返回，应用程序接着可以读取视频数据；否则select函数阻塞直到视频数据采集完成。使用举例：enumv4l2_buf_typev4l2type=V4L2_BUF_TYPE_VIDEO_CAPTURE;fd_setfds;structtimevaltv;iret=ioctl(fd_usbcam,VIDIOC_STREAMON,&v4l2type);FD_ZERO(&fds);FD_SET(fd