音視頻采集

DirectShow（簡稱DShow）是一個Windows平臺上的流媒體框架，提供了高質量的多媒體流采集和回放功能，它支持多種多樣的媒體文件格式，包括ASF、MPEG、AVI、MP3和WAV文件，同時支持使用WDM驅動或早期的VFW驅動來進行多媒體流的采集。

• DirectShow大大簡化了媒體回放、格式轉換和采集工作。但與此同時，也為用戶自定義的解決方案提供了底層流控制框架，從而使用戶可以自行創建支持新的文件格式或其他用戶的DirectShow組件。
• DirectShow專為C++而設計。Microsoft不提供用于DirectShow的托管API。
• DirectShow是基于組件對象模型（COM）的，因此當你編寫DirectShow應用程序時，你必須具備COM客戶端程序編寫的知識。對于大部分的應用程序，你不需要實現自己的COM對象，DirectShow提供了大部分你需要的DirectShow組件，但是假如你需要編寫自己的DirectShow組件來進行擴充，那么你必須編寫實現COM對象。
• 使用DirectShow編寫的典型應用程序包括：DVD播放器、視頻編輯程序、AVI到ASF轉換器、MP3播放器和數字視頻采集應用。

音頻采集

獲取設備信息

void Widget::capture()
{avdevice_register_all(); // 注冊所有的設備qDebug() << "注冊設備完成";AVFormatContext *fmt_ctx = avformat_alloc_context();            // 分配一個格式上下文const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找輸入格式if (!input_fmt){qDebug() << "找不到輸入格式";return;}AVDeviceInfoList *dev_list = nullptr; // 設備信息列表int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 獲取設備信息列表if (ret < 0){qDebug() << "獲取設備信息列表失敗";return;}for (int i = 0; i < dev_list->nb_devices; i++){qDebug() << "設備名稱: " << dev_list->devices[i]->device_name;qDebug() << "設備描述: " << dev_list->devices[i]->device_description;// qDebug() << "設備類型: " << av_get_media_type_string(*(dev_list->devices[i]->media_types));qDebug() << "------------------------";}avdevice_free_list_devices(&dev_list);qDebug() << "設備信息獲取完成";
}

錄制麥克風

void Widget::recordMicrophone()
{const char *output_file = "../../output/record.pcm"; // 輸出文件路徑avdevice_register_all();                             // 注冊所有的設備AVDeviceInfoList *dev_list = nullptr;                // 設備信息列表const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找輸入格式if (!input_fmt){qDebug() << "找不到輸入格式";return;}int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 獲取設備信息列表if (ret < 0){qDebug() << "獲取設備信息列表失敗";return;}std::string device_name = "audio=";for (int i = 0; i < dev_list->nb_devices; i++){AVDeviceInfo *dev_info = dev_list->devices[i];if (dev_info){if (*dev_info->media_types == AVMEDIA_TYPE_AUDIO) // 判斷設備類型是否為音頻{device_name += dev_info->device_name; // 獲取設備名稱break;}}}avdevice_free_list_devices(&dev_list); // 釋放設備信息列表AVFormatContext *fmt_ctx = avformat_alloc_context(); // 分配一個格式上下文ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, nullptr); // 打開輸入設備if (ret < 0){qDebug() << "打開輸入設備失敗";return;}av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印輸入設備信息std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打開輸出文件,以二進制方式寫入if (!output.is_open()){qDebug() << "打開輸出文件失敗";return;}auto currentTime = std::chrono::steady_clock::now(); // 獲取當前時間AVPacket packet;                             // 分配一個數據包while (av_read_frame(fmt_ctx, &packet) >= 0) // 讀取數據包{output.write((char *)packet.data, packet.size);                                // 寫入數據包av_packet_unref(&packet);                                                      // 釋放數據包if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 錄音10秒后停止break;}output.close();                 // 關閉輸出文件avformat_close_input(&fmt_ctx); // 關閉輸入設備avformat_free_context(fmt_ctx); // 釋放格式上下文qDebug() << "錄音結束";
}

通過ffplay指令播放

錄制聲卡

跟麥克風錄制一樣，略

視頻采集

查看支持的設備信息

 ffmpeg -list_devices true -f dshow -i dummy

ffmpeg -f dshow -list_options true -i video="USB Camera"

攝像機畫面采集

void Widget::recordCamera()
{const char *output_file = "../../output/record.yuv"; // 輸出文件名avdevice_register_all();                             // 注冊所有設備AVDeviceInfoList *dev_list = nullptr;const AVInputFormat *input_fmt = av_find_input_format("dshow"); // 查找輸入格式if (!input_fmt){qDebug() << "找不到輸入格式";return;}int ret = avdevice_list_input_sources(input_fmt, nullptr, nullptr, &dev_list); // 獲取設備信息列表if (ret < 0){qDebug() << "獲取設備信息失敗";return;}std::string device_name = "video="; // 設備名稱for (int i = 0; i < dev_list->nb_devices; i++){AVDeviceInfo *dev_info = dev_list->devices[i];if (dev_info){if (*dev_info->media_types == AVMEDIA_TYPE_VIDEO) // 判斷設備類型是否為視頻{device_name += dev_info->device_name;break;}}}avdevice_free_list_devices(&dev_list); // 釋放設備信息列表AVDictionary *options = nullptr;av_dict_set(&options, "pixel_format", "yuyv422", 0); // 設置像素格式av_dict_set(&options, "video_size", "1280x720", 0);  // 設置視頻大小av_dict_set(&options, "framerate", "10", 0);         // 設置幀率AVFormatContext *fmt_ctx = avformat_alloc_context();                           // 分配一個格式上下文ret = avformat_open_input(&fmt_ctx, device_name.c_str(), input_fmt, &options); // 打開輸入設備if (ret < 0){qDebug() << "打開輸入設備失敗";return;}av_dump_format(fmt_ctx, 0, device_name.c_str(), 0); // 打印輸入設備信息std::ofstream output(output_file, std::ios::binary | std::ofstream::out); // 打開輸出文件,以二進制方式寫入if (!output.is_open()){qDebug() << "打開輸出文件失敗";return;}auto currentTime = std::chrono::steady_clock::now(); // 獲取當前時間AVPacket packet;                                     // 分配一個數據包while (av_read_frame(fmt_ctx, &packet) >= 0)         // 讀取數據包{output.write((char *)packet.data, packet.size);                                // 寫入數據包av_packet_unref(&packet);                                                      // 釋放數據包if (std::chrono::steady_clock::now() - currentTime > std::chrono::seconds(10)) // 錄像10秒后停止break;}output.close();                 // 關閉輸出文件avformat_close_input(&fmt_ctx); // 關閉輸入設備avformat_free_context(fmt_ctx); // 釋放格式上下文qDebug() << "錄像結束";
}