Android在后臺讀取UVC攝像頭的幀數據流并推送

Android在后臺讀取UVC攝像頭的幀數據流并推送

  1. 添加UvcCamera依賴庫
    使用原版的 saki4510t/UVCCamera 在預覽過程中斷開可能會閃退，這里使用的是
    jiangdongguo/AndroidUSBCamera 中修改的版本，下載到本地即可。
    https://github.com/jiangdongguo/AndroidUSBCamera

  2. 監聽UVC連接回調

    mUSBMonitor = USBMonitor(context, mOnDeviceConnectListener)mUSBMonitor.register()public interface OnDeviceConnectListener {void onAttach(UsbDevice device);void onDetach(UsbDevice device);void onConnect(UsbDevice device, UsbControlBlock ctrlBlock, boolean createNew);void onDisconnect(UsbDevice device, UsbControlBlock ctrlBlock);void onCancel(UsbDevice device);}
  1. 檢測到UVC后連接該設備

USB連接上會回調，onAttach, 本地判斷連接上的USB設備是否UVC,如果是的話可以嘗試調用連接該對象。調用mUSBMonitor.requestPermission(cam)就會請求權限并且連接該對象。連接成功后會回調 onConnect。

    var connectJob: Disposable? = nulloverride fun onAttach(device: UsbDevice?) {BLLog.i(TAG, "onAttach")BLLog.toast("USB_DEVICE_ATTACHED")connectJob?.dispose()connectJob = CommonUtils.runDelayed(1000) {autoConnectUvcDevice()}}private fun autoConnectUvcDevice() {val context = BLSession.getApplicationContext()val filter: List<DeviceFilter> =DeviceFilter.getDeviceFilters(context, R.xml.device_filter_uvc)val devs: List<UsbDevice> = mUSBMonitor?.getDeviceList(filter[0]) ?: listOf()val cam = findUsbCam(devs)BLLog.log2File(TAG, "autoConnect 共有USB數量：${devs.size}, Uvc: ${cam?.productName}")if (cam == null) {BLLog.i(TAG, "未連接USB攝像頭")} else {mUSBMonitor.requestPermission(cam)}}

device_filter_uvc.xml

<usb><usb-device class="239" subclass="2" />	<!-- all device of UVC -->
</usb>

如何判斷該連接對象是UVC對象,如果名字中包含USBCam或 interfaceClass = USB_CLASS_VIDEO

    private fun findUsbCam(devs: List<UsbDevice>): UsbDevice? {for (dev in devs) {if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {val name = "" + dev.productName + dev.manufacturerNameBLLog.i(TAG, "findUsbCam name:$name")if (name.contains("USBCam")) {return dev}for (i in 0 until dev.interfaceCount) {val inter = dev.getInterface(i)BLLog.i(TAG, "getInterface($i):$inter")if (inter.interfaceClass == UsbConstants.USB_CLASS_VIDEO) {return dev}}}}return null}
  1. 在onConnect中保存UvcCamera對象
            override fun onConnect(device: UsbDevice?,ctrlBlock: USBMonitor.UsbControlBlock?,createNew: Boolean) {BLLog.i(TAG, "onConnect  ${device?.productName}")synchronized(mSync) {try {// 保存最新的Uvc對象val camera = UVCCamera();camera.open(ctrlBlock)BLLog.log2File(TAG,"supportedSize:" + camera.supportedSize + "thread:" + Thread.currentThread().name)if (applyPreviewSize(camera)) {mUVCCamera?.destroy()mUVCCamera = camerapreviewStatus = PreViewStatus.None} else {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")if (mUVCCamera == null) {mUVCCamera = camera}}uvcChangedSub.onNext(true)} catch (e:Exception){BLLog.log2File(TAG, "onConnect Recv exception: $e")}}}
  1. 預覽并獲取YUC視頻幀
    如果需要預覽到UI中顯示，需要創建SurfaceView或者TextureView.
        mUVCCamera?.setPreviewDisplay(previewSurface)mUVCCamera?.startPreview()

如果不需要預覽到UI中顯示，可以new一個SurfaceTexture對象傳進去即可；必須要調用預覽才能獲取到YUV數據。

        val surfaceTexture = SurfaceTexture(0)mUVCCamera?.setPreviewTexture(surfaceTexture)BLLog.i(TAG, "startPreviewWithAir")mUVCCamera?.startPreview()

預覽后獲取YUV幀流：

        val width = mUVCCamera?.previewSize?.width ?: defPreviewSize.widthval height = mUVCCamera?.previewSize?.height ?: defPreviewSize.heightyuvCallback = callbackmUVCCamera?.setFrameCallback({ buffer: ByteBuffer ->
//            BLLog.i(TAG, "onFrame ${width}*${height}")// yuv格式if (acceptFrame()) {val format = MediaFormat.createVideoFormat("", width, height)val data = ByteArray(buffer.remaining())buffer.get(data)val frame = YuvFrameData(format, data, width, height)yuvCallback?.onGetYuvData(frame)}}, UVCCamera.PIXEL_FORMAT_NV21)

獲取到的YUV幀可以使用其他推流SDK進行推流即可，比如使用阿里云推流SDK推流。
這完成可以在后臺進行推流，不需要UI上展示，節省設備的性能。

  1. 連接類參考：
// Uvc設備連接器
object UvcConnector : BaseBussModel(ModelType.Shared) {private val TAG = UvcConnector::class.java.simpleNameprivate val KEY_UVC_PREVIEW_SIZE = "KEY_UVC_PREVIEW_SIZE"// 默認支持：640*480, 1920*1080private var defPreviewSize = MySize.parseSize("1920*1080")!!enum class PreViewStatus {None,Visible,Air,}private lateinit var mUSBMonitor: USBMonitor@Volatileprivate var mUVCCamera: UVCCamera? = nullprivate val mSync = Object()private var previewStatus = PreViewStatus.None@Volatileprivate var yuvCallback: IMediaKit.OnYuvListener? = null// 狀態變更消息private var uvcChangedSub = PublishSubject.create<Boolean>()override fun onStartUp() {super.onStartUp()BLLog.i(TAG, "onStartUp")val context = BLSession.getApplicationContext()mUSBMonitor = USBMonitor(context, mOnDeviceConnectListener)mUSBMonitor.register()CommonUtils.runAsync(::loadPreviewSize)}override fun onShutdown() {BLLog.i(TAG, "onShutdown")mUSBMonitor.unregister()mUSBMonitor.destroy()super.onShutdown()}fun hasUvcDevice(): Boolean {return mUVCCamera != null}fun previewStatus(): PreViewStatus {return previewStatus}fun getSubject() = uvcChangedSubfun getNowSize(): MySize? {return mUVCCamera?.previewSize?.let {MySize(it.width, it.height)}}fun getExpSize(): MySize {return defPreviewSize}fun startPreview(previewSurface: Surface): CallResult {BLLog.i(TAG, "startPreview")if (!hasUvcDevice()) {return CallResult(false, "未連接設備")}if (previewStatus == PreViewStatus.Air) {mUVCCamera?.stopPreview()}if (!applyPreviewSize(mUVCCamera)) {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")return CallResult(false, "UVC不支持此分辨率：$defPreviewSize")}mUVCCamera?.setPreviewDisplay(previewSurface)mUVCCamera?.startPreview()previewStatus = PreViewStatus.Visibleif (yuvCallback != null) {setYuvCallback(yuvCallback!!)}uvcChangedSub.onNext(true)return CallResult(true, "成功")}fun stopPreview() {BLLog.i(TAG, "stopPreview")if (previewStatus != PreViewStatus.Visible) {return}mUVCCamera?.stopPreview()previewStatus = PreViewStatus.None// 需要接收數據if (yuvCallback != null) {startPreviewWithAir()setYuvCallback(yuvCallback!!)}uvcChangedSub.onNext(true)}fun clearYuvCallback() {yuvCallback = nullif (previewStatus == PreViewStatus.Air) {mUVCCamera?.stopPreview()previewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}fun setYuvCallback(callback: IMediaKit.OnYuvListener): Boolean {if (mUVCCamera == null) {return false}if (previewStatus == PreViewStatus.None) {startPreviewWithAir()}val width = mUVCCamera?.previewSize?.width ?: defPreviewSize.widthval height = mUVCCamera?.previewSize?.height ?: defPreviewSize.heightyuvCallback = callbackmUVCCamera?.setFrameCallback({ buffer: ByteBuffer ->
//            BLLog.i(TAG, "onFrame ${width}*${height}")// yuv格式if (acceptFrame()) {val format = MediaFormat.createVideoFormat("", width, height)val data = ByteArray(buffer.remaining())buffer.get(data)val frame = YuvFrameData(format, data, width, height)yuvCallback?.onGetYuvData(frame)}}, UVCCamera.PIXEL_FORMAT_NV21)return true}private fun acceptFrame(): Boolean {return Random.nextInt(30) <= 25}private fun startPreviewWithAir() {if (!applyPreviewSize(mUVCCamera)) {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")return}val surfaceTexture = SurfaceTexture(0)mUVCCamera?.setPreviewTexture(surfaceTexture)BLLog.i(TAG, "startPreviewWithAir")mUVCCamera?.startPreview()previewStatus = PreViewStatus.AiruvcChangedSub.onNext(true)}private fun findUsbCam(devs: List<UsbDevice>): UsbDevice? {for (dev in devs) {if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.LOLLIPOP) {val name = "" + dev.productName + dev.manufacturerNameBLLog.i(TAG, "findUsbCam name:$name")if (name.contains("USBCam")) {return dev}for (i in 0 until dev.interfaceCount) {val inter = dev.getInterface(i)BLLog.i(TAG, "getInterface($i):$inter")if (inter.interfaceClass == UsbConstants.USB_CLASS_VIDEO) {return dev}}}}return null}private fun autoConnectUvcDevice() {val context = BLSession.getApplicationContext()val filter: List<DeviceFilter> =DeviceFilter.getDeviceFilters(context, R.xml.device_filter_uvc)val devs: List<UsbDevice> = mUSBMonitor?.getDeviceList(filter[0]) ?: listOf()val cam = findUsbCam(devs)BLLog.log2File(TAG, "autoConnect 共有USB數量：${devs.size}, Uvc: ${cam?.productName}")if (cam == null) {BLLog.i(TAG, "未連接USB攝像頭")} else {mUSBMonitor.requestPermission(cam)}}private fun applyPreviewSize(camera: UVCCamera?):Boolean {if (camera == null){return false}try {camera.setPreviewSize(defPreviewSize.width,defPreviewSize.height,UVCCamera.FRAME_FORMAT_MJPEG)} catch (e: IllegalArgumentException) {BLLog.log2File(TAG, "setPreviewSize1 $defPreviewSize: $e")try {// fallback to YUV modecamera.setPreviewSize(defPreviewSize.width,defPreviewSize.height,UVCCamera.DEFAULT_PREVIEW_MODE)} catch (e1: IllegalArgumentException) {BLLog.log2File(TAG, "setPreviewSize2 $defPreviewSize: $e1")return false}}return true}private val mOnDeviceConnectListener: USBMonitor.OnDeviceConnectListener =object : USBMonitor.OnDeviceConnectListener {var connectJob: Disposable? = nulloverride fun onAttach(device: UsbDevice?) {BLLog.i(TAG, "onAttach")BLLog.toast("USB_DEVICE_ATTACHED")connectJob?.dispose()connectJob = CommonUtils.runDelayed(1000) {autoConnectUvcDevice()}}override fun onDetach(device: UsbDevice?) {BLLog.i(TAG, "onDetach")BLLog.toast("USB_DEVICE_DETACHED")synchronized(mSync) {if (mUVCCamera != null) {mUVCCamera?.destroy()mUVCCamera = nullpreviewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}}override fun onConnect(device: UsbDevice?,ctrlBlock: USBMonitor.UsbControlBlock?,createNew: Boolean) {BLLog.i(TAG, "onConnect  ${device?.productName}")synchronized(mSync) {try {// 保存最新的Uvc對象val camera = UVCCamera();camera.open(ctrlBlock)BLLog.log2File(TAG,"supportedSize:" + camera.supportedSize + "thread:" + Thread.currentThread().name)if (applyPreviewSize(camera)) {mUVCCamera?.destroy()mUVCCamera = camerapreviewStatus = PreViewStatus.None} else {BLLog.console(TAG, "UVC不支持此分辨率：$defPreviewSize")if (mUVCCamera == null) {mUVCCamera = camera}}uvcChangedSub.onNext(true)} catch (e:Exception){BLLog.log2File(TAG, "onConnect Recv exception: $e")}}}override fun onDisconnect(device: UsbDevice?, ctrlBlock: USBMonitor.UsbControlBlock?) {BLLog.i(TAG, "onDisconnect ${device?.productName}")synchronized(mSync) {mUVCCamera?.destroy()mUVCCamera = nullpreviewStatus = PreViewStatus.NoneuvcChangedSub.onNext(true)}}override fun onCancel(device: UsbDevice?) {BLLog.i(TAG, "onCancel")}}fun setPreviewSize(size: MySize) {defPreviewSize = sizeSharedPreferenceHelper.saveCustom(KEY_UVC_PREVIEW_SIZE, size.toString())}private fun loadPreviewSize() {val str = SharedPreferenceHelper.loadCustom(KEY_UVC_PREVIEW_SIZE, "")defPreviewSize = MySize.parseSize(str) ?: defPreviewSize}
}

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/711861.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/711861.shtml
英文地址，請注明出處：http://en.pswp.cn/news/711861.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Rust學習筆記：基礎工具和基本名詞

Rust學習筆記：基礎工具和基本名詞

不要用共享內存來通信&#xff0c;要用通信來共享內存 rustup: 一個用于管理 Rust 版本和相關工具的命令行工具 rustup update cargo: Rust 的構建系統和包管理工具 構建代碼下載依賴庫并構建下載庫 crate: 代碼包/庫 trait: 特性、功能 ///: 生成 html 格式的 doc&#…
閱讀更多...
CELL文獻速遞 | 了解微生物如何在社會中傳播并塑造我們的健康

CELL文獻速遞 | 了解微生物如何在社會中傳播并塑造我們的健康

谷禾健康 當人還是嬰兒時&#xff0c;會從父母那里得到微生物&#xff1b;和寵物玩耍或接觸時&#xff0c;也會從寵物那得到微生物&#xff1b;有時候人沒有直接和動物玩耍&#xff0c;只是接觸動物的糞便&#xff0c;甚至其他環境的微生物&#xff0c;都會交換微生物... 這些其…
閱讀更多...
智慧治水丨計訊物聯水利RTU助推小型水庫出險加固工程建設與管理

智慧治水丨計訊物聯水利RTU助推小型水庫出險加固工程建設與管理

日前&#xff0c;水利部印發《關于健全小型水庫除險加固和運行管護機制的意見》&#xff08;以下簡稱《意見》&#xff09;&#xff0c;健全小型水庫除險加固和運行管護常態化機制&#xff0c;提高小型水庫安全管理水平。《意見》提出了“十四五”的兩大管理機制&#xff0c;通…
閱讀更多...
adb下載安裝及使用教程

adb下載安裝及使用教程

adb下載安裝及使用教程 一、ADB的介紹1.ADB是什么&#xff1f;2.內容簡介3.ADB常用命令1. ADB查看設備2. ADB安裝軟件3. ADB卸載軟件4. ADB登錄設備shell5. ADB從電腦上發送文件到設備6. ADB從設備上下載文件到電腦7. ADB顯示幫助信息 4.為什么要用ADB 二、ADB的下載1.Windows版…
閱讀更多...
Flutter GetX 之 暗黑模式

Flutter GetX 之 暗黑模式

我們緊接上篇文章，今天繼續講解一下強大的 GetX 的另一個功能，就是 暗黑模式 ，在iOS 13開始蘋果的應用慢慢的都開始適配 暗黑模式，andr。oid 也慢慢的 開始跟進，截止到目前，商店的大部分應用都已經完成了 暗黑模式 的適配。 原生開發為我們提供對應的 API，那么Flutter呢…
閱讀更多...
機器學習相關概念及術語總結

機器學習相關概念及術語總結

目錄 1.機器學習2.監督學習3.無監督學習4.線性回歸5.邏輯回歸 1.機器學習 機器學習的定義&#xff1a;一個計算機程序可從經驗E&#xff08;Experience&#xff09;中學習如何完成任務T&#xff08;Task&#xff09;&#xff0c;并且隨著經驗E的增加&#xff0c;性能指標P&…
閱讀更多...
Python中reduce函數和lambda表達式的學習

Python中reduce函數和lambda表達式的學習

reduce函數將一個數據集合&#xff08;鏈表&#xff0c;元組等&#xff09;中的所有數據進行下列操作&#xff1a;用傳給 reduce 中的函數 function&#xff08;有兩個參數&#xff09;先對集合中的第 1、2 個元素進行操作&#xff0c;得到的結果再與第三個數據用 function 函數…
閱讀更多...
【論文精讀】DINOv2

【論文精讀】DINOv2

摘要 學習與特定任務無關的預訓練表示已經成為自然語言處理的標準&#xff0c;這些表示不進行微調&#xff0c;即可在下游任務上明顯優于特定任務模型的性能。其主要得益于使用無監督語言建模目標對大量原始文本進行預訓練。 遵循NLP中的這種范式轉變&#xff0c;以探索計算機視…
閱讀更多...
iSlide插件2024免費版（包含52 個PPT設計輔助功能，9 大在線資源庫，以及超 50 萬 專業）

iSlide插件2024免費版（包含52 個PPT設計輔助功能，9 大在線資源庫，以及超 50 萬 專業）

一、功能介紹 iSlide是一款專為PowerPoint設計的插件&#xff0c;它集合了眾多設計與效率提升的功能&#xff0c;幫助用戶更快速、更美觀地制作演示文稿。 主題設計&#xff1a;提供多種設計主題&#xff0c;用戶只需一鍵應用&#xff0c;即可為幻燈片賦予統一的視覺風格。智…
閱讀更多...
每次提出一個bug都讓測試重現，描述得那么清楚，自己操作下不會嗎？

每次提出一個bug都讓測試重現，描述得那么清楚，自己操作下不會嗎？

一說到測試和開發的關系&#xff0c;你一定會想到一個詞“冤家”。 開發的工作就是按照PM的設計將產品最終造出來&#xff0c;而測試則是在開發已完成的工作里糾錯。so&#xff0c;測試的工作會讓開發很不爽&#xff0c;人之常情&#xff0c;誰都不喜歡自己的勞動成果被別人挑…
閱讀更多...
react路由基礎

react路由基礎

1.目錄 A. 能夠說出React路由的作用 B. 能夠掌握react-router-dom的基本使用 C. 能夠使用編程式導航跳轉路由 D. 能夠知道React路由的匹配模式 2.目錄 A. React路由介紹 B. 路由的基本使用 C. 路由的執行過程 D. 編程式導航 E. 默認路由 F. 匹配模式 3.react路由介紹 現代…
閱讀更多...
開源項目：圖像分類技術在醫療影像分析中的應用與實踐

開源項目：圖像分類技術在醫療影像分析中的應用與實踐

一、引言 在當今快速發展的醫療行業中&#xff0c;數字醫療正逐漸成為提升醫療服務質量和效率的關鍵力量。本項目旨在通過整合醫藥電商、遠程問診、慢病管理等多維度服務&#xff0c;為消費者和企業提供全面的醫療解決方案。項目的核心在于運用先進的圖像分類技術&#xff0c;以…
閱讀更多...
回歸測試：在不斷變化的環境中確保軟件的穩定性

回歸測試：在不斷變化的環境中確保軟件的穩定性

軟件開發是一個復雜的過程&#xff0c;需要不斷變化和更新以滿足客戶不斷變化的需求&#xff0c;但它們也可能產生新問題或導致舊問題重新出現。這就是回歸測試的用武之地——它是在不斷變化的環境中確保軟件穩定性的重要組成部分。 在這篇文章中&#xff0c;我們將深入探討什…
閱讀更多...
第40期 | GPTSecurity周報

第40期 | GPTSecurity周報

GPTSecurity是一個涵蓋了前沿學術研究和實踐經驗分享的社區&#xff0c;集成了生成預訓練Transformer&#xff08;GPT&#xff09;、人工智能生成內容&#xff08;AIGC&#xff09;以及大語言模型&#xff08;LLM&#xff09;等安全領域應用的知識。在這里&#xff0c;您可以找…
閱讀更多...
基于springboot + vue實現的前后端分離-在線旅游網站系統（項目 + 論文）

基于springboot + vue實現的前后端分離-在線旅游網站系統（項目 + 論文）

項目介紹 本旅游網站系統采用的數據庫是MYSQL &#xff0c;使用 JSP 技術開發&#xff0c;在設計過程中&#xff0c;充分保證了系統代碼的良好可讀性、實用性、易擴展性、通用性、便于后期維護、操作方便以及頁面簡潔等特點。 技術選型 后端: SpringBoot Mybatis 數據庫 : MyS…
閱讀更多...
Qt 使用windows注冊表保存設置

Qt 使用windows注冊表保存設置

重點&#xff1a; 1.在構造函數中初始化&#xff0c;確認注冊表中的一個目錄 QApplication::setOrganizationName("WWB-Qt");QApplication::setApplicationName("samp7_5"); 只要使用下面語句定義變量setting QSettings setting 表示setting指向注冊表目…
閱讀更多...
UE5 文字游戲（1） 僅UI截圖轉換為texture2d（適用于window端）

UE5 文字游戲（1） 僅UI截圖轉換為texture2d（適用于window端）

目錄 需求 思路 1.截圖并讀取到本地 2.本地讀取圖片并轉換為紋理2d 效果展示 找了好多的解決辦法&#xff0c;都不管用。這個算是折中的。 需求 將當前的用戶控件&#xff08;ui&#xff09;截圖下來&#xff0c;并賦值到一個texture2d上。 我的需求&#xff1a;文字游戲…
閱讀更多...
初學JavaWeb開發總結

初學JavaWeb開發總結

0 什么是Web開發 Web: 全球廣域網&#xff0c;又稱萬維網(www World Wide Web)&#xff0c;能夠通過瀏覽器訪問的網站。 Web開發&#xff0c;就是開發網站的&#xff0c;如&#xff1a;淘寶、京東等等。 1 網站的工作流程 流程&#xff1a; 瀏覽器先向前端服務器請求前端資…
閱讀更多...
Cesium 自定義Primitive-線

Cesium 自定義Primitive-線

一、創作思路 1、創建一個自定義CustomPrimitive 2、可動態更新線的點位 3、方便后期繪制線 二、實現代碼 1、創建一個CustomPolylinePrimitive類,并加入更新的代碼 export default class CustomPolylinePrimitive {constructor(options) {this._props options;/*** 渲染列表…
閱讀更多...
EchoServer回顯服務器封裝與測試

EchoServer回顯服務器封裝與測試

目錄 類實現 編譯測試 這一篇本質上是為了TcpServer而做的一層封裝,讓外界調用更加簡潔 參考上文 TcpServer服務器管理模塊(模塊十)-CSDN博客 類實現 echo.hpp #include "../server.hpp"class EchoServer { private:TcpServer _server;private:void OnConnect…
閱讀更多...
最新文章

Copyright @ 2022~2023