一、前言說明
在國標監控系統中,錄像回放過程中,需要切換播放進度,對比過很過國標系統,絕大部分尤其是網頁版的監控系統,在切換進度過程中都會黑屏,這個體驗就很不友好了,明明gb28181協議中就有切換進度的指令,切換完成后,會立即發送對應進度開始的音視頻流數據,只要繼續解碼就行,用抓包工具查看數據,發現居然是重新發起請求,也就是按照當前時間點的視頻錄像文件,重新發起請求,整個交互過程一般可能需要1-2s,導致中間黑屏,是解碼不好處理?因為切換進度后對應的pts突然之間變了,尤其是從一個大的時間點切換到一個小的時間點,pts居然變小了,其中不乏一些著名的國標平臺,為何不能做成一個平滑的無縫切換呢?中間還涉及到重新推拉流?
用純Qt開發這個國標監控組件,就沒有這個黑屏的問題,切換進度直接執行指令,然后清空緩存數據,收到新的數據繼續解碼播放即可,非常的流暢和穩定,切換到哪里就立即是顯示哪里,往前往后切換都能立即響應,跳轉進度無縫切換,要的就是這種效果。網頁版的國標監控系統還有一個問題就是倍速,基本上只能做到4倍速,別說八倍速了,連八倍速的選項都沒有,是擔心網頁解碼顯示性能不足?其實很多時候查閱錄像文件,基本上需要倍速播放,播放快到了需要的地方才會切換到正常速度或者滿倍速慢慢找。其實還有個問題,就是倍速傳過來的其實是完整的流數據,只是解碼這邊要求快一點解碼,比如fps25幀,如果八倍速就是每秒鐘給了25乘以8等于200幀的數據,然后要求1秒鐘解碼200幀的數據顯示,確實壓力夠大,查看了對應的CPU和GPU占用,確實高了不少,對電腦的配置要求也比較高,那是不是后面可以改成只推送關鍵幀過來?這個應該需要設備端的配合才行。
二、效果圖
三、相關地址
- 國內站點:https://gitee.com/feiyangqingyun
- 國際站點:https://github.com/feiyangqingyun
- 個人作品:https://blog.csdn.net/feiyangqingyun/article/details/97565652
- 文件地址:https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取碼:01jf 文件名:bin_video_gb28181。
四、功能特點
- 支持設備注冊、注銷、心跳、校時、注冊認證、注銷認證等。
- 設備上線后可以手動獲取設備狀態、設備信息、配置信息、預置位信息等。
- 設備上線后自動獲取設備通道信息,包括中文通道名稱。識別到通道上線離線變化,會重新獲取該設備的所有通道信息。
- 支持視頻點播,可以分別點播主碼流和子碼流,內置rtp解包線程,解包后發給視頻播放組件解碼播放。
- 每個設備每個通道支持點播多個視頻,通過ssrc區分,支持共用端口和不同端口收流。
- 支持對某個設備下面所有通道、某個通道、某個通道對應的某個流分別關閉。
- 支持錄像文件查詢和回放,回放控制支持暫停播放、繼續播放、倍速播放、切換播放進度。
- 支持錄像文件下載,支持倍速比如8倍速下載,可同時多線程批量下載。
- 回放和下載同時支持IPC和NVR,比如攝像頭自帶的SD存儲卡錄像文件回放,NVR上的硬盤錄像文件回放。
- 支持云臺控制,向上、向下、向左、向右、左上、右上、左下、右下方位移動,鏡頭放大縮小,光圈放大縮小,鏡頭聚焦放焦。
- 支持預置位信息的查詢、調用、添加、修改、刪除等操作。
- 自動目錄訂閱功能,通道上線下線都有對應的信號通知。
- 內置定時讀取通道信息機制,以保證通道信息是最新的,比如有些NVR是不斷更新的通道信息。
- 內置訂閱警情和位置移動功能,訂閱后各種警情事件比如運動目標檢測報警、入侵檢測報警、徘徊檢測報警等自動上報。
- 支持語音對講功能,可以直接在視頻窗體的懸浮條上單擊語音對講按鈕,再次單擊關閉對講,對講期間懸浮條常駐顯示。
- 支持設備布防撤防,布防后警情信息會主動上報。
- 國標服務同時支持udp和tcp方式,可選只監聽一種或者兩種都監聽,tcp方式自動處理粘包問題。
- 國標拉流同時支持udp、tcp被動、tcp主動三種方式,每個通道都可以自由選擇何種拉流方式。
- 內置拉流端口池,每次拉流從中取出一個,關閉流自動回收端口號,重復利用。
- 收流端口自動糾錯,自動跳過被占用的端口,不會出現端口占用導致收流失敗的情況。
- 支持三種取流方式自動檢測離線重連,檢測到離線后,自動重啟點播拉流整個流程。
- 錄像文件回放,上一個完成后自動切換到下一個繼續回放,直到所有回放完成。支持高達8倍速回放。
- 視頻播放自適應硬解碼,極低資源占用,實時性極好,帶懸浮條顯示視頻流信息,可以直接在懸浮條單擊按鈕保存錄像文件到本地。
- 支持幾千路國標消息交互并發,實時視頻流支持64路同時顯示,可以拓展更多路數。
- 支持阿里云等云服務器,可以分別設置內網監聽地址和外網訪問地址,一般云服務器上是監聽地址用內網,對外訪問用外網地址。
- 支持視頻分發,也就是推流,視頻通道打開后可以自動推流到流媒體服務器,其他需要的地方拉流即可,支持rtsp、rtmp、hls、webrtc等方式拉流。
- 實時預覽和錄像回放都支持推流,推流支持疊加文字和圖片水印以及各種ffmpeg支持的濾鏡效果,支持多個水印同時疊加。
- 同時支持gb28181-2011、gb28181-2016、gb28181-2022以及后續可能的所有協議版本。
- SIP解析和交互采用純Qt底層代碼實現,udp/tcp通信交互,祖傳原創代碼解析,不依賴任何第三方。
- 代碼量少,gb28181交互部分共幾千行代碼,注釋詳細,接口友好,使用極其簡單,提供非常詳細的使用示例。
- 支持海康、大華、宇視、華為、天地偉業等所有國標設備,包括一些沒有ssrc的設備。
- 支持所有Qt版本和編譯器以及操作系統,包括但不限于win、linux、mac、android、嵌入式linux、樹莓派香橙派、國產os等。
五、相關代碼
#include "frmvideoplayback.h"
#include "ui_frmvideoplayback.h"
#include "qthelper.h"
#include "videoutil.h"
#include "gb28181server.h"
#include "gb28181helper.h"
#include "gb28181widgetmanage.h"frmVideoPlayback::frmVideoPlayback(QWidget *parent) : QWidget(parent), ui(new Ui::frmVideoPlayback)
{ui->setupUi(this);this->initForm();this->initConfig();
}frmVideoPlayback::~frmVideoPlayback()
{delete ui;
}void frmVideoPlayback::closeAll()
{this->setId("", "");ui->listWidget->clear();ui->btnStop->click();
}void frmVideoPlayback::setServer(GB28181Server *server)
{this->server = server;ui->gb28181Widget->setServer(server);
}void frmVideoPlayback::setId(const QString &deviceId, const QString &channelId)
{this->deviceId = deviceId;this->channelId = channelId;
}void frmVideoPlayback::initForm()
{server = NULL;ui->sliderPosition->setRange(0, 0);ui->gb28181Widget->setBgText("視頻回放");ui->gb28181Widget->setProperty("onSync", AppConfig::RecordOnSync);connect(ui->btnPlay, SIGNAL(clicked(bool)), this, SLOT(playControl()));connect(ui->btnStop, SIGNAL(clicked(bool)), this, SLOT(playControl()));connect(ui->sliderPosition, SIGNAL(clicked()), this, SLOT(playControl()));connect(ui->cboxSpeed, SIGNAL(currentIndexChanged(int)), this, SLOT(playControl()));connect(ui->gb28181Widget, SIGNAL(sig_receivePlayStart(int)), this, SLOT(receivePlayStart(int)));connect(ui->gb28181Widget, SIGNAL(sig_receivePlayFinsh()), this, SLOT(receivePlayFinsh()));connect(ui->gb28181Widget, SIGNAL(pushStart(GB28181Widget *, QString)), GB28181WidgetManage::Instance(), SIGNAL(pushStart(GB28181Widget *, QString)));connect(ui->gb28181Widget, SIGNAL(pushStop(QString, QString)), GB28181WidgetManage::Instance(), SIGNAL(pushStop(QString, QString)));//進度定時器timer = new QTimer(this);connect(timer, SIGNAL(timeout()), this, SLOT(setPosition()));timer->setInterval(300);
}void frmVideoPlayback::initConfig()
{//ui->cboxSpeed->setEnabled(false);VideoUtil::loadSpeed(ui->cboxSpeed);ui->cboxSpeed->setCurrentIndex(ui->cboxSpeed->findData(AppConfig::RecordSpeed));connect(ui->cboxSpeed, SIGNAL(currentIndexChanged(int)), this, SLOT(saveConfig()));ui->dateStart->setDateTime(QDateTime::fromString(AppConfig::RecordStart, "yyyy-MM-ddThh:mm:ss"));connect(ui->dateStart, SIGNAL(dateTimeChanged(QDateTime)), this, SLOT(saveConfig()));ui->dateEnd->setDateTime(QDateTime::fromString(AppConfig::RecordEnd, "yyyy-MM-ddThh:mm:ss"));connect(ui->dateEnd, SIGNAL(dateTimeChanged(QDateTime)), this, SLOT(saveConfig()));
}void frmVideoPlayback::saveConfig()
{AppConfig::RecordSpeed = ui->cboxSpeed->itemData(ui->cboxSpeed->currentIndex()).toString();AppConfig::RecordStart = ui->dateStart->dateTime().toString("yyyy-MM-ddThh:mm:ss");AppConfig::RecordEnd = ui->dateEnd->dateTime().toString("yyyy-MM-ddThh:mm:ss");AppConfig::writeConfig();
}void frmVideoPlayback::setPosition()
{qint64 pts = ui->gb28181Widget->getPts();VideoUtil::setPosition(ui->labPosition, ui->sliderPosition, pts * 100);
}void frmVideoPlayback::receivePlayStart(int)
{//取出時間QListWidgetItem *item = ui->listWidget->currentItem();QString startTime = item->data(Qt::UserRole + 1).toString();QString endTime = item->data(Qt::UserRole + 2).toString();//計算時長qint64 duration = GB28181Helper::getDuration(startTime, endTime) * 1000;VideoUtil::setDuration(ui->labDuration, ui->sliderPosition, duration);
}void frmVideoPlayback::receivePlayFinsh()
{timer->stop();ui->btnPlay->setText("暫停");VideoUtil::resetDuration(ui->labDuration, ui->labPosition, ui->sliderPosition);//暫停期間不用繼續if (ui->btnPlay->text() == "播放") {return;}//如果還有下一個自動觸發雙擊播放/過濾下剛剛關閉觸發的播放結束int row = ui->listWidget->currentRow();qint64 offset = lastTime.msecsTo(QDateTime::currentDateTime());if (offset > 1000 && row < ui->listWidget->count() - 1) {ui->listWidget->setCurrentRow(row + 1);on_listWidget_itemDoubleClicked(ui->listWidget->currentItem());}
}void frmVideoPlayback::playControl()
{QString ssrc = ui->gb28181Widget->getSsrcVideo();if (!server || ssrc.isEmpty()) {return;}QObject *obj = sender();if (obj == ui->btnPlay) {if (ui->btnPlay->text() == "暫停") {ui->btnPlay->setText("播放");server->playControl(deviceId, channelId, PlayControl_Pause, 0, ssrc);} else {ui->btnPlay->setText("暫停");server->playControl(deviceId, channelId, PlayControl_Play, 0, ssrc);}} else if (obj == ui->btnStop) {lastTime = QDateTime::currentDateTime();ui->gb28181Widget->stop();} else if (obj == ui->sliderPosition) {timer->stop();timer->start();ui->btnPlay->setText("暫停");qint64 sec = ui->sliderPosition->value() / 1000;server->playControl(deviceId, channelId, PlayControl_Position, sec);} else if (obj == ui->cboxSpeed) {float speed = ui->cboxSpeed->itemData(ui->cboxSpeed->currentIndex()).toFloat();server->playControl(deviceId, channelId, PlayControl_Scale, speed, ssrc);}
}void frmVideoPlayback::receiveStatus(GB28181Status status)
{if (status.deviceId != deviceId || status.channelId != channelId || status.notifyType != 121) {return;}//不是當前窗體產生的不用處理if (ui->gb28181Widget->getSsrcVideo() == status.ssrc) {ui->gb28181Widget->stop();}
}void frmVideoPlayback::receiveRecord(const QList<GB28181Record> &records)
{if (!this->isVisible()) {return;}foreach (GB28181Record record, records) {QString startTime = record.startTime;QString endTime = record.endTime;QString date = startTime.mid(0, 10);QString start = startTime.mid(11, 5);QString end = endTime.mid(11, 5);QListWidgetItem *item = new QListWidgetItem;item->setData(Qt::UserRole + 1, startTime);item->setData(Qt::UserRole + 2, endTime);item->setText(QString("%0 %1 - %2").arg(date).arg(start).arg(end));ui->listWidget->addItem(item);}
}void frmVideoPlayback::on_btnQueryRecord_clicked()
{ui->listWidget->clear();QDateTime dateStart = ui->dateStart->dateTime();QDateTime dateEnd = ui->dateEnd->dateTime();if (dateStart >= dateEnd) {QtHelper::showMessageBoxError("開始時間必須小于結束時間, 請重新選擇!");return;}server->queryRecord(deviceId, channelId, dateStart, dateEnd);
}void frmVideoPlayback::on_listWidget_itemDoubleClicked(QListWidgetItem *item)
{//取出時間QString startTime = item->data(Qt::UserRole + 1).toString();QString endTime = item->data(Qt::UserRole + 2).toString();//停止播放lastTime = QDateTime::currentDateTime();ui->gb28181Widget->stop();qApp->processEvents();timer->start();//啟動播放ui->gb28181Widget->initPara(AppConfig::ScaleMode, AppConfig::VideoMode, AppConfig::VideoCore, AppConfig::DecodeType, AppConfig::Hardware, AppConfig::ReadTimeout, false, false);ui->gb28181Widget->setPara(AppConfig::RecordSpeed.toFloat(), AppConfig::RecordProfile, (TransmitMode)AppConfig::TransmitMode, AppConfig::ServerIp, AppConfig::RecordPush, GB28181Widget::PlayType_Playback);ui->gb28181Widget->setTime(startTime, endTime);ui->gb28181Widget->openVideo(deviceId, channelId);
}