Video4linux（簡稱V4L),是linux中關于視頻設備的內核驅動,現在已有Video4linux2，還未加入linux內核，使用需自己下載補丁。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。

2.Video4linux下視頻編程的流程
（1）打開視頻設備：
（2） 讀取設備信息
（3）更改設備當前設置（沒必要的話可以不做）
（4）進行視頻采集，兩種方法:
??????? a.內存映射
??????? b.直接從設備讀取
（5）對采集的視頻進行處理
（6）關閉視頻設備。

為程序定義的數據結構
typedef struct v4l_struct
{
?? int fd;
?? struct video_capability capability;
?? struct video_channel channel[4];
?? struct video_picture picture;
?? struct video_window window;
?? struct video_capture capture;
?? struct video_buffer buffer;
?? struct video_mmap mmap;
?? struct video_mbuf mbuf;???
?? unsigned char *map;
?? int frame;
?? int framestat[2];
}vd;

3.Video4linux支持的數據結構及其用途
（1） video_capability 包含設備的基本信息（設備名稱、支持的最大最小分辨率、信號源信息等）,包含的分量：
?name[32]?? //設備名稱
?maxwidth ,maxheight,minwidth,minheight
?Channels //信號源個數
?type??? //是否能capture，彩色還是黑白，是否能裁剪等等。值如VID_TYPE_CAPTURE等
?
（2）video_picture 設備采集的圖象的各種屬性
?brightness 0~65535
?hue
?colour
?contrast
?whiteness
?depth // 24
?palette //VIDEO_PALETTE_RGB24

（3）video_channel???????? 關于各個信號源的屬性
??? Channel //信號源的編號
??? name
??? tuners
??? Type???? VIDEO_TYPE_TV | IDEO_TYPE_CAMERA
??? Norm制式

（4）video_window //包含關于capture area的信息
??? xx windows 中的坐標.
??? y???? x windows 中的坐標.
??? width??? The width of the image capture.
??? height?? The height of the image capture.
??? chromakey A host order RGB32 value for the chroma key.
??? flags????? Additional capture flags.
??? clips????? A list of clipping rectangles. (Set only)
??? clipcount??? The number of clipping rectangles. (Set only)
（5）video_mbuf?? //利用mmap進行映射的幀的信息
????? size //每幀大小
????? Frames //最多支持的幀數
????? Offsets //每幀相對基址的偏移
（6）video_buffer?? 最底層對buffer的描述
????? void *baseBase physical address of the buffer
????? int heightHeight of the frame buffer
????? int widthWidth of the frame buffer
????? int depthDepth of the frame buffer
????? int bytesperlineNumber of bytes of memory between the start of two adjacent lines
?? 實際顯示的部分一般比它描述的部分小
（7）video_mmap //用于mmap

4.關鍵步驟介紹
（1）打開視頻：
Open（”/dev/video0”，vdàfd);
關閉視頻設備用close（”/dev/video0”，vdàfd);
（2）讀video_capability 中信息
ioctl(vd->fd, VIDIOCGCAP, &(vd->capability))
成功后可讀取vd->capability各分量 eg.
（3）讀video_picture中信息
ioctl(vd->fd, VIDIOCGPICT, &(vd->picture))；
（4）改變video_picture中分量的值 （可以不做的）
先為分量賦新值，再調用VIDIOCSPICT
Eg.
?vd->picture.colour = 65535;
?if(ioctl(vd->fd, VIDIOCSPICT, &(vd->picture)) < 0)
?{
?perror("VIDIOCSPICT");
?return -1;
?}
（5）初始化channel （可以不做的）
?必須先做得到vd->capability中的信息
?for (i = 0; i < vd->capability.channels; i++)
??? {
?????? vd->channel[i].channel = i;
?????? if (ioctl(vd->fd, VIDIOCGCHAN, &(vd->channel[i])) < 0)
? {
????????? perror("v4l_get_channel:");
????????? return -1;
????????? }
??? }

重點：截取圖象的兩種方法
1,用mmap（內存映射）方式截取視頻
?mmap( )系統調用使得進程之間通過映射同一個普通文件實現共享內存。普通文件被映射到進程地址空間后，進程可以向訪問普通內存一樣對文件進行訪問，不必再調用read()，write（）等操作。
?兩個不同進程A、B共享內存的意思是，同一塊物理內存被映射到進程A、B各自的進程地址空間。進程A可以即時看到進程B對共享內存中數據的更新，反之亦然
?采用共享內存通信的一個顯而易見的好處是效率高，因為進程可以直接讀寫內存，而不需要任何數據的拷貝
（1）設置picture的屬性
（2） 初始化video_mbuf，以得到所映射的buffer的信息
ioctl(vd->fd, VIDIOCGMBUF, &(vd->mbuf))
（3）可以修改video_mmap和幀狀態的當前設置
???? Eg.???? vd->mmap.format = VIDEO_PALETTE_RGB24
?????????????? vd->framestat[0] = vd->framestat[1] = 0; vd->frame = 0;
（4）將mmap與video_mbuf綁定
?void* mmap ( void * addr , size_t len , int prot , int flags , int fd , off_t offset )
?len //映射到調用進程地址空間的字節數，它從被映射文件開頭offset個字節開始算起
?Prot //指定共享內存的訪問權限 PROT_READ（可讀）, PROT_WRITE （可寫）, PROT_EXEC （可執行）
?flags // MAP_SHARED?? MAP_PRIVATE中必選一個 // MAP_ FIXED不推薦使用addr //共內存享的起始地址，一般設0，表示由系統分配
?Mmap( ) 返回值是系統實際分配的起始地址
?if((vd->map = (unsigned char*)mmap(0, vd->mbuf.size, PROT_READ|PROT_WRITE, MAP_SHARED, vd->fd, 0)) < 0)
?{
?perror("v4l_mmap mmap:");
?return -1;
?}
（5）Mmap方式下真正做視頻截取的 VIDIOCMCAPTURE
ioctl(vd->fd, VIDIOCMCAPTURE, &(vd->mmap)) ;
?若調用成功，開始一幀的截取，是非阻塞的，
?是否截取完畢留給VIDIOCSYNC來判斷
（6）調用VIDIOCSYNC等待一幀截取結束
?if(ioctl(vd->fd, VIDIOCSYNC, &frame) < 0)
?{
?perror("v4l_sync:VIDIOCSYNC");
?return -1;
?}
若成功，表明一幀截取已完成。可以開始做下一次 VIDIOCMCAPTURE
?frame是當前截取的幀的序號。

****關于雙緩沖：
?video_bmuf bmuf.frames = 2;
?一幀被處理時可以采集另一幀
?int frame; //當前采集的是哪一幀
?int framestat[2]; //幀的狀態 沒開始采集|等待采集結束
?幀的地址由vd->map + vd->mbuf.offsets[vd->frame]得到
?采集工作結束后調用munmap取消綁定
?munmap(vd->map, vd->mbuf.size)

2,視頻截取的第二種方法：直接讀設備
關于緩沖大小，圖象等的屬性須由使用者事先設置
?調用read（）；
?int read (要訪問的文件描述符；指向要讀寫的信息的指針；應該讀寫的字符數);
?返回值為實際讀寫的字符數
?int len ;
?unsigned char *vd->map= (unsigned char *) malloc(vdàcapability.maxwidth*vdàcapability.maxheight );
?len = read(vdàfd,vdà vd->map,
??????????????????? vdàcapability.maxwidth*vdàcapability.maxheight*3 );

一.什么是video4linux
Video4linux2（簡稱V4L2),是linux中關于視頻設備的內核驅動。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。

二、一般操作流程（視頻設備）：
1. 打開設備文件。 int fd=open(”/dev/video0″,O_RDWR);
2. 取得設備的capability，看看設備具有什么功能，比如是否具有視頻輸入,或者音頻輸入輸出等。VIDIOC_QUERYCAP,struct v4l2_capability
3. 選擇視頻輸入，一個視頻設備可以有多個視頻輸入。VIDIOC_S_INPUT,struct v4l2_input
4. 設置視頻的制式和幀格式，制式包括PAL，NTSC，幀的格式個包括寬度和高度等。
VIDIOC_S_STD,VIDIOC_S_FMT,struct v4l2_std_id,struct v4l2_format
5. 向驅動申請幀緩沖，一般不超過5個。struct v4l2_requestbuffers
6. 將申請到的幀緩沖映射到用戶空間，這樣就可以直接操作采集到的幀了，而不必去復制。mmap
7. 將申請到的幀緩沖全部入隊列，以便存放采集到的數據.VIDIOC_QBUF,struct v4l2_buffer
8. 開始視頻的采集。VIDIOC_STREAMON
9. 出隊列以取得已采集數據的幀緩沖，取得原始采集數據。VIDIOC_DQBUF
10. 將緩沖重新入隊列尾,這樣可以循環采集。VIDIOC_QBUF
11. 停止視頻的采集。VIDIOC_STREAMOFF
12. 關閉視頻設備。close(fd);
三、常用的結構體(參見/usr/include/linux/videodev2.h)：

struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩沖的請求，里面包含申請的個數
struct v4l2_capability cap;//這個設備的功能，比如是否是視頻輸入設備
struct v4l2_input input; //視頻輸入
struct v4l2_standard std;//視頻的制式，比如PAL，NTSC
struct v4l2_format fmt;//幀的格式，比如寬度，高度等

struct v4l2_buffer buf;//代表驅動中的一幀
v4l2_std_id stdid;//視頻制式，例如：V4L2_STD_PAL_B
struct v4l2_queryctrl query;//查詢的控制
struct v4l2_control control;//具體控制的值

下面具體說明開發流程（網上找的啦，也在學習么）

打開視頻設備

在V4L2中，視頻設備被看做一個文件。使用open函數打開這個設備：

//用非阻塞模式打開攝像頭設備

intcameraFd;

cameraFd= open(“/dev/video0″,O_RDWR | O_NONBLOCK, 0);

//如果用阻塞模式打開攝像頭設備，上述代碼變為：

//cameraFd = open(”/dev/video0″, O_RDWR, 0);

關于阻塞模式和非阻塞模式

應用程序能夠使用阻塞模式或非阻塞模式打開視頻設備，如果使用非阻塞模式調用視頻設備，即使尚未捕獲到信息，驅動依舊會把緩存（DQBUFF）里的東西返回給應用程序。

設定屬性及采集方式

打開視頻設備后，可以設置該視頻設備的屬性，例如裁剪、縮放等。這一步是可選的。在Linux編程中，一般使用ioctl函數來對設備的I/O通道進行管理：

extern intioctl (int __fd,unsigned long int __request, …)__THROW;

__fd：設備的ID，例如剛才用open函數打開視頻通道后返回的cameraFd；

__request：具體的命令標志符。

在進行V4L2開發中，一般會用到以下的命令標志符：

這些IO調用，有些是必須的，有些是可選擇的。

檢查當前視頻設備支持的標準

在亞洲，一般使用PAL（720X576）制式的攝像頭，而歐洲一般使用NTSC（720X480），使用VIDIOC_QUERYSTD來檢測：

v4l2_std_id std;

do{

ret= ioctl(fd,VIDIOC_QUERYSTD, &std);

} while (ret == -1 && errno == EAGAIN);

switch(std) {

caseV4L2_STD_NTSC:

//……

caseV4L2_STD_PAL:

//……

}

設置視頻捕獲格式

當檢測完視頻設備支持的標準后，還需要設定視頻捕獲格式：

structv4l2_format??? fmt;

memset( &fmt, 0, sizeof(fmt) );

fmt.type= V4L2_BUF_TYPE_VIDEO_CAPTURE;

fmt.fmt.pix.width= 720;

fmt.fmt.pix.height= 576;

fmt.fmt.pix.pixelformat= V4L2_PIX_FMT_YUYV;

fmt.fmt.pix.field= V4L2_FIELD_INTERLACED;

if(ioctl(fd,VIDIOC_S_FMT, &fmt) == -1) {

return-1;

}

v4l2_format結構體定義如下：

structv4l2_format

{

enumv4l2_buf_type type;??? // 數據流類型，必須永遠是//V4L2_BUF_TYPE_VIDEO_CAPTURE

union

{

structv4l2_pix_format??? pix;

structv4l2_window??????? win;

structv4l2_vbi_format??? vbi;

__u8??? raw_data[200];

} fmt;

};

structv4l2_pix_format

{

__u32?????????????????? width;????????// 寬，必須是16的倍數

__u32??????????????? ??? height;???????// 高，必須是16的倍數

__u32?????????????????? pixelformat;??// 視頻數據存儲類型，例如是//YUV4：2：2還是RGB

enumv4l2_field???????? field;

__u32?????????????????? bytesperline;

__u32?????????????????? sizeimage;

enumv4l2_colorspace??? colorspace;

__u32?????????????????? priv;

};

?

前言：目前正在忙于ARM平臺的Linux應用程序的開發（其實是剛剛起步學習啦）。底層的東西不用考慮了，開發板子提供了NAND Bootloader，和Linux 2.6的源碼，而且都編譯好了。自己編譯的bootloader可以用，但是Linux編譯后，文件很大，暫且就用人家編譯的系統，先專心寫應用程序 吧。。

正文：要做的任務是，把一塊板子上的攝像頭采集的圖像和聲卡采集的聲音（貌似很啰嗦哈）通過TCP/IP協議傳輸到另一塊板子上。第一步，先把視頻獲取并且在本地LCD上顯示。看了板子提供的文檔，視頻傳輸需要用V4L2的API。

一.什么是video4linux
Video4linux2（簡稱V4L2),是linux中關于視頻設備的內核驅動。在Linux中，視頻設備是設備文件，可以像訪問普通文件一樣對其進行讀寫，攝像頭在/dev/video0下。

二、一般操作流程（視頻設備）：
1. 打開設備文件。 int fd=open(”/dev/video0″,O_RDWR);
2. 取得設備的capability，看看設備具有什么功能，比如是否具有視頻輸入,或者音頻輸入輸出等。VIDIOC_QUERYCAP,struct v4l2_capability
3. 選擇視頻輸入，一個視頻設備可以有多個視頻輸入。VIDIOC_S_INPUT,struct v4l2_input
4. 設置視頻的制式和幀格式，制式包括PAL，NTSC，幀的格式個包括寬度和高度等。
VIDIOC_S_STD,VIDIOC_S_FMT,struct v4l2_std_id,struct v4l2_format
5. 向驅動申請幀緩沖，一般不超過5個。struct v4l2_requestbuffers
6. 將申請到的幀緩沖映射到用戶空間，這樣就可以直接操作采集到的幀了，而不必去復制。mmap
7. 將申請到的幀緩沖全部入隊列，以便存放采集到的數據.VIDIOC_QBUF,struct v4l2_buffer
8. 開始視頻的采集。VIDIOC_STREAMON
9. 出隊列以取得已采集數據的幀緩沖，取得原始采集數據。VIDIOC_DQBUF
10. 將緩沖重新入隊列尾,這樣可以循環采集。VIDIOC_QBUF
11. 停止視頻的采集。VIDIOC_STREAMOFF
12. 關閉視頻設備。close(fd);

三、常用的結構體(參見/usr/include/linux/videodev2.h)：

struct v4l2_requestbuffers reqbufs;? //向驅動申請幀緩沖的請求，里面包含申請的個數
struct v4l2_capability cap;???????????????? //這個設備的功能，比如是否是視頻輸入設備
struct v4l2_input input;????????????????????? //視頻輸入
struct v4l2_standard std;?????????????????? //視頻的制式，比如PAL，NTSC
struct v4l2_format fmt;????????????????????? //幀的格式，比如寬度，高度等

struct v4l2_buffer buf;?????????????????????? //代表驅動中的一幀
v4l2_std_id stdid;?????????????????????????????? //視頻制式，例如：V4L2_STD_PAL_B
struct v4l2_queryctrl query;??????????? //查詢的控制
struct v4l2_control control;???????????? //具體控制的值

下面具體說明開發流程（網上找的啦，也在學習么）

?

?

打開視頻設備

在V4L2中，視頻設備被看做一個文件。使用open函數打開這個設備：

// 用非阻塞模式打開攝像頭設備

int cameraFd;

cameraFd = open(“/dev/video0″, O_RDWR | O_NONBLOCK, 0);

// 如果用阻塞模式打開攝像頭設備，上述代碼變為：

//cameraFd = open(”/dev/video0″, O_RDWR, 0);

關于阻塞模式和非阻塞模式

應用程序能夠使用阻塞模式或非阻塞模式打開視頻設備，如果使用非阻塞模式調用視頻設備，即使尚未捕獲到信息，驅動依舊會把緩存（DQBUFF）里的東西返回給應用程序。

設定屬性及采集方式

打開視頻設備后，可以設置該視頻設備的屬性，例如裁剪、縮放等。這一步是可選的。在Linux編程中，一般使用ioctl函數來對設備的I/O通道進行管理：

extern int ioctl (int __fd, unsigned long int __request, …) __THROW;

__fd：設備的ID，例如剛才用open函數打開視頻通道后返回的cameraFd；

__request：具體的命令標志符。

在進行V4L2開發中，一般會用到以下的命令標志符：

1. VIDIOC_REQBUFS：分配內存
2. VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中分配的數據緩存轉換成物理地址
3. VIDIOC_QUERYCAP：查詢驅動功能
4. VIDIOC_ENUM_FMT：獲取當前驅動支持的視頻格式
5. VIDIOC_S_FMT：設置當前驅動的頻捕獲格式
6. VIDIOC_G_FMT：讀取當前驅動的頻捕獲格式
7. VIDIOC_TRY_FMT：驗證當前驅動的顯示格式
8. VIDIOC_CROPCAP：查詢驅動的修剪能力
9. VIDIOC_S_CROP：設置視頻信號的邊框
10. VIDIOC_G_CROP：讀取視頻信號的邊框
11. VIDIOC_QBUF：把數據從緩存中讀取出來
12. VIDIOC_DQBUF：把數據放回緩存隊列
13. VIDIOC_STREAMON：開始視頻顯示函數
14. VIDIOC_STREAMOFF：結束視頻顯示函數
15. VIDIOC_QUERYSTD：檢查當前視頻設備支持的標準，例如PAL或NTSC。

這些IO調用，有些是必須的，有些是可選擇的。

檢查當前視頻設備支持的標準

在亞洲，一般使用PAL（720X576）制式的攝像頭，而歐洲一般使用NTSC（720X480），使用VIDIOC_QUERYSTD來檢測：

v4l2_std_id std;

do {

ret = ioctl(fd, VIDIOC_QUERYSTD, &std);

} while (ret == -1 && errno == EAGAIN);

switch (std) {

case V4L2_STD_NTSC:

//……

case V4L2_STD_PAL:

//……

}

設置視頻捕獲格式

當檢測完視頻設備支持的標準后，還需要設定視頻捕獲格式：

struct v4l2_format??? fmt;

memset ( &fmt, 0, sizeof(fmt) );

fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;

fmt.fmt.pix.width = 720;

fmt.fmt.pix.height = 576;

fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;

fmt.fmt.pix.field = V4L2_FIELD_INTERLACED;

if (ioctl(fd, VIDIOC_S_FMT, &fmt) == -1) {

return -1;

}

v4l2_format結構體定義如下：

struct v4l2_format

{

enum v4l2_buf_type type;??? // 數據流類型，必須永遠是//V4L2_BUF_TYPE_VIDEO_CAPTURE

union

{

struct v4l2_pix_format??? pix;

struct v4l2_window??????? win;

struct v4l2_vbi_format??? vbi;

__u8??? raw_data[200];

} fmt;

};

struct v4l2_pix_format

{

__u32?????????????????? width;???????? // 寬，必須是16的倍數

__u32??????????????? ??? height;??????? // 高，必須是16的倍數

__u32?????????????????? pixelformat;?? // 視頻數據存儲類型，例如是//YUV4：2：2還是RGB

enum v4l2_field???????? field;

__u32?????????????????? bytesperline;

__u32?????????????????? sizeimage;

enum v4l2_colorspace??? colorspace;

__u32?????????????????? priv;

};

?