對于目前深度學習主流任務學習，loss的設置至關重要。下面就不同任務的loss設置進行如下總結：

（1）目標檢測

2D/3D目標檢測中的 Loss（損失函數）是訓練模型時優化目標的核心，通常包括位置、類別、尺寸、方向等多個方面。以下是目前 常見的 2D 和 3D 目標檢測 Loss 分類與總結：

---

?? 一、2D 目標檢測常見 Loss

2D 目標檢測常見于圖像（如 COCO、VOC），其 Loss 主要分為以下三類：

1. 分類損失（Classification Loss）

• Cross Entropy Loss：最常用，如 Faster R-CNN、YOLOv3。

• Focal Loss：用于處理前景/背景不均衡，如 RetinaNet。

  

2. 邊界框回歸損失（Bounding Box Regression Loss）

• Smooth L1 Loss / Huber Loss：常用于 R-CNN 系列。

• IoU Loss：直接優化 IoU，穩定性更好。

• GIoU / DIoU / CIoU Loss（用于 YOLOv4/v5 等）：

  • GIoU: Generalized IoU，考慮重疊與包圍。

  • DIoU: Distance IoU，考慮中心距離。

  • CIoU: Complete IoU，綜合中心、面積和長寬比。

3. 輔助任務損失

• Objectness Loss：YOLO 系列判斷該區域是否有目標。

• Center-ness Loss：FCOS 中判斷中心點可信度。

• Heatmap Loss（如 CornerNet, CenterNet）：

  • 用高斯熱圖回歸目標中心點，常用 MSE 或 focal loss。

---

?? 二、3D 目標檢測常見 Loss

3D 檢測用于點云（如 KITTI、nuScenes、Waymo），損失函數更加復雜，涵蓋了空間維度、方向等：

1. 分類損失

• 同 2D 檢測，使用 CrossEntropy/Focal Loss。

• 在 anchor-based 方法中用于前背景分類。

2. 3D 邊界框回歸損失

• 通常為多項組合，包括中心位置、大小、方向等：

? 位置損失：

• L1 / Smooth L1：對中心點 (x,y,z)(x, y, z)。

• Center Distance Loss：點云中心與GT中心的距離。

? 尺寸損失：

• 對 w,h,lw, h, l 使用 L1/Smooth L1。

? 朝向損失（方向角）：

• 角度回歸 loss：L1 / Smooth L1。

• 角度分類 loss：方向離散為多個 bin，使用分類損失。

• Sin-Cos 回歸 loss：使用 sin?(θ),cos?(θ)\sin(\theta), \cos(\theta) 規避周期性問題。

3. IoU類損失

• 3D IoU Loss（較難優化但直觀）：如 PointRCNN。

• BEV IoU Loss（Bird's Eye View）：簡化空間問題。

4. 關鍵點 / 熱力圖損失

• Heatmap Loss（如 CenterPoint, PV-RCNN）用于預測中心點。

  • 通常為 Gaussian Focal Loss。

• Offset Loss：預測熱圖中心點到真實中心點的偏移量。

5. 方向不變性損失

• Corner Loss（如 Frustum-PointNet）：

  • 通過角點預測反推旋轉和平移，更魯棒。

• Chamfer Distance（點云匹配）：在 PointNet++ 等方法中。

---

?? 三、檢測 Loss 組合示意

模型	分類 Loss	回歸 Loss	特殊項
Faster R-CNN	Cross Entropy	Smooth L1	-
YOLOv5	BCE / Focal	CIoU Loss	Objectness Loss
RetinaNet	Focal Loss	Smooth L1	-
CenterNet	Heatmap Loss	Offset + Size (L1)	-
PointRCNN	Focal + IoU	3D Box Regression + Corner Loss	Direction Class
PV-RCNN	Heatmap + CE	L1 + 3D IoU + Sin-Cos Angle Loss	RoI Pool + BEV Match
CenterPoint	Heatmap + CE	Offset + Size + Direction (multi-part)	Gaussian Focal + Direction Bin

---

? 總結：選擇檢測 Loss 的核心要點

目標	推薦 Loss 類型
二分類 / 多分類