bev 之 fastBEV

在這里插入圖片描述
前面我們提到bev 之 LSS, 知道視覺的BEV方案的主要痛點在于:
1、depth 的預測
2、圖像特征到BEV特征之間的視圖變換消耗大量計算

LSS 為什么需要D維深度

占據大量消耗的原因是LSS 對每個圖像特征點引入深度D,即假設每個像素上存在可能的D維深度。也就是假設不同像素深度上對應的圖像特征不同。

能不能去除深度特征

從M2BEV中,假設圖像到BEV視圖的轉換過程沿相機光線的深度均勻分布,也就是說不同深度對應的圖像特征是相同的。基于這個理論,就可以將深度D去掉。
在這里插入圖片描述
LSS 基于像素深度上的特征均勻分布, 這比LSS 看起來非常暴力,去掉深度維度確實可以大幅度提高速度。

分析原因:Lss想做的是對于射線空間中無占據的區域希望其特征為0,只保留有物體的語義特征的精準預測,這就依賴深度預測。而fastbev 則假設射線經過的空間均有可能存在語義特征,且相同。然后用3d neck進一步融合粗采樣的bev特征。所以對圖像上的同一個物體,映射到BEV上后其特征也能像帶有深度預測一樣聚集一塊,只是會有部分局部特征會分散到bev空間其他位置,這部分分散的特征在BEV空間是冗余的,但是不影響聚集特征的預測。所以3d neck本身是不可或缺的,否則精度將明顯掉點。

LSS 中的BEV Pooling

LSS 去除了深度Depth,為了加速2D圖像特征到3D BEV空間特征,不像LSS , 先構建N個圖像的映射視錐 N x H x W x D,再對特征進行索引投影映射。LSS直接將不同視角的N個圖像的直接投影到BEV空間

原始是在BEV空間獨立產生N份特征,再pooling成一份。但是圖像重疊區域部分占的比例極低,所以fastBEV 干脆在BEV空間只產生一份特征,對重疊區域只保留任意一份(這會失去重疊的融合特征,但是實驗驗證精度損失極小)

推理查表進行特征映射

構建BEV體素空間到圖像空間的映射關系
構建好查找表后,我們只需要對最終要產生的voxel按索引查找一遍其對應采樣的2d特征按需索取填充即可,這樣避免了大量冗余計算。

總結:

fast BEV 相對 LSS 做了以下加速:
1、去除 depth 估計,也就去除了D維的計算量,節省存儲和計算。
2、直接從BEV 特征空間通過映射表獲取圖像特征,且對重疊區域只保留一個特征,加快視場空間轉換。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/43288.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/43288.shtml
英文地址,請注明出處:http://en.pswp.cn/web/43288.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

ubuntu18虛擬機克隆后不能上網和磁盤損壞問題

小學期直接給學弟學妹們自己配好的克隆的虛擬機,結果出現了這兩種問題,參考了網上好多資料,太多了忘了存了,花了好久的時間才解決,這里記錄一下。 磁盤損壞問題: 網絡無法連同問題,ip addr發現…

特征融合篇 | YOLOv10改進之在Neck網絡中添加加權雙向特征金字塔BiFPN

前言:Hello大家好,我是小哥談。在計算機視覺任務中,特征金字塔網絡(FPN)是一種常用的方法,它通過構建不同尺度的特征圖來捕獲不同尺度的目標。然而,傳統的FPN存在一些缺點,如特征融合…

解鎖Postman的API參數化:動態請求的秘訣

🔑 解鎖Postman的API參數化:動態請求的秘訣 在API測試的世界里,參數化是構建靈活、可重用請求的關鍵。Postman作為API開發和測試的領軍工具,提供了強大的參數化功能,允許用戶創建動態、個性化的API請求。本文將深入探…

計算機網絡--tcpdump和iptable設置、內核參數優化策略

tcpdump工具 tcpdump命令: 選項字段: 過濾表達式: 實用命令: TCP三次握手抓包命令: #客戶端執行tcpdump 抓取數據包 tcpdump -i etho tcp and host 192.168.12.36 and port 80 -W timeout.pcapnetstat命令 netst…

7.10飛書一面面經

問題描述 Redis為什么快? 這個問題我遇到過,但是沒有好好總結,導致答得很亂。 答:Redis基于內存操作: 傳統的磁盤文件操作相比減少了IO,提高了操作的速度。 Redis高效的數據結構:Redis專門設計…

java算法day11

二叉樹的遞歸遍歷二叉樹的非遞歸遍歷寫法層序遍歷 遞歸怎么寫? 按照三要素可以保證寫出正確的遞歸算法: 1.確定遞歸函數的參數和返回值: 確定哪些參數是遞歸的過程中需要處理的,那么就在遞歸函數里加上這個參數, 并且…

第二證券:銷量暴跌95%,這一巨頭市值蒸發超3000億元!

在多重要素刺激下,PCB工作站上風口。 波音銷量墮入停滯 6月僅售出3架客機 據央視財經,在一系列丑聞的影響下,波音公司本年出售遭到明顯沖擊。當地時間9日,波音發布的數據閃現,在以前一個月,該公司僅賣出…

關于Java面向對象的一些問題(2024.7.10)

package question20240710;public class Question {/*1. 什么叫做多態,條件是什么?2. 使用多態特性,帶來了什么樣的好處?3. 使用多態特性,注意什么樣的弊端?4. 關于多態的弊端我們如何解決?5. 在…

excel有條件提取單元格特定文本(篩選純文字的單元格或含有數字的單元格、單元格提取不同的文本長度)

實際工作背景 需要對導出的銀行流水中的數十個村以及對應的村小組進行分組統計,但是初始的表格中村和小組是混在一起的,如下圖所示: 目的:將大樹村和大樹村小組名稱分別篩選出來 1.觀察發現,大樹村小組的單元格第4…

代碼隨想錄算法訓練營第四十九天| 647. 回文子串、 516.最長回文子序列

647. 回文子串 題目鏈接:647. 回文子串 文檔講解:代碼隨想錄 狀態:不會 思路: dp[i][j] 表示字符串 s 從索引 i 到索引 j 這一段子串是否為回文子串。 當s[i]與s[j]不相等,那沒啥好說的了,dp[i][j]一定是fa…

構建與操作共享棧

歸納編程學習的感悟, 記錄奮斗路上的點滴, 希望能幫到一樣刻苦的你! 如有不足歡迎指正! 共同學習交流! ??歡迎各位→點贊 ??+ 收藏? + 留言???既然選擇了遠方,當不負青春,砥礪前行! 共享棧是一種優化的棧實現方式,它允許兩個或多個棧共享同一段連續的內存空間…

Tkinter 部件使用教程

tkinter學習教程 C語言中文網Tkinter教程 菜鳥編程-Python GUI編程(Tkinter) tkinter基本組件 messagebox 【tkinter標準對話框】messagebox:信息傳遞,消息對話框! bind bind事件信息 listbox Tkinter 組件詳解之Listbox radiobutton Tkinter…

數據結構——Trie

題目: 維護一個字符串集合,支持兩種操作: I x 向集合中插入一個字符串 x𝑥;Q x 詢問一個字符串在集合中出現了多少次。 共有 N𝑁 個操作,所有輸入的字符串總長度不超過 10^5,字符串僅…

【分布式系統】Ceph對象存儲系統之RGW接口

目錄 一.對象存儲概述 二.創建RGW接口 1.在管理節點創建一個 RGW 守護進程 2.創建成功后默認情況下會自動創建一系列用于 RGW 的存儲池 3.默認情況下 RGW 監聽 7480 號端口 4.開啟 httphttps ,更改監聽端口 5.在 rgw 節點上查看端口 6.在客戶端訪問驗證 7.…

Mybatis study

一、Mybatis Plus mybatis-plus指定實體類字段不查詢 加標簽 TableField(exist false) Spring Data Jpa學習 干我們這行,啥時候懈怠,就意味著長進的停止,長進的停止就意味著被淘汰,只能往前沖,直到鳳凰涅槃的一天&am…

【onnx】onnxruntime-gpu無法使用問題

every blog every motto: You can do more than you think. https://blog.csdn.net/weixin_39190382?typeblog 0. 前言 onnxruntime-gpu無法使用 1. 正文 CUDA版本:12.1 nvcc -VCUDNN的版本 cat /usr/include/cudnn_version.h |grep CUDNN_MAJOR -A 2說明: 可…

C#中的Dictionary

Dictionary<TKey, TValue> 是一個泛型集合&#xff0c;它存儲鍵值對&#xff08;key-value pairs&#xff09;&#xff0c;其中每個鍵&#xff08;key&#xff09;都是唯一的。這個集合類提供了快速的數據插入和檢索功能&#xff0c;因為它是基于哈希表實現的。 注意 ke…

拉曼操作維護使用手冊(中英文對照)

1 INTRODUCTION 介紹 This document contains information needed to install and operate the Laser Gas Analyzer (LGA). The information contained herein is believed to be accurate and reliable, however, inaccuracies and omissions of pertinent information are po…

Vue 3 組件通信全解:從基礎到高級技巧

引言 Vue 3 引入了 Composition API&#xff0c;這為組件通信帶來了新的靈活性和強大的功能。 組件通信基礎 組件的定義和作用 在前端開發中&#xff0c;組件可以被看作是構建用戶界面的獨立單元。它封裝了特定的功能和樣式&#xff0c;可以被重復使用&#xff0c;并且可以…

【數據結構——鏈表的深度探索】從實現到應用,保姆級攻略

【數據結構——鏈表深度探索】從實現到應用&#xff0c;保姆級攻略 &#x1f341;1. 鏈表的介紹&#x1f341;2. 鏈表的實現&#x1f341;2.1 單向鏈表&#x1f341;2.1.1 size()&#x1f341;2.1.2 display()&#x1f341;2.1.3 contains(int key)&#x1f341;2.1.4 addFirst…