隨著自動駕駛技術的飛速發展，深度學習在其中扮演著至關重要的角色。而激活函數作為神經網絡中的關鍵組件，直接影響著模型的性能和效果。前面幾篇博客 自動駕駛背后的數學：特征提取中的線性變換與非線性激活 , 「自動駕駛背后的數學：從傳感器數據到控制指令的函數嵌套」—— 揭秘人工智能中的線性函數、ReLU 與復合函數中， 非線性激活函數舉例只講到了ReLU 函數。本文將深入探討自動駕駛中常見的激活函數，包括 ReLU、Sigmoid、Leaky ReLU、PReLU 和 Swish，解析它們的數學原理、應用場景及 PyTorch 實現代碼。

一、基礎激活函數解析

1. ReLU (Rectified Linear Unit)

數學表達式：
$$f(x)=\max (0,x)$$
導數：
$$f^{\prime }(x)=\{\begin{array}{ll}1& x>0\\ 0& x\le 0\end{array}$$

特點：

• 優點：計算高效，緩解梯度消失
• 缺點：存在"神經元死亡"問題
• 自動駕駛應用：
  • YOLOv5的目標檢測特征提取
  • 激光雷達點云處理

# PyTorch實現
import torch.nn as nn
relu = nn.ReLU(inplace=True)

2. Sigmoid

數學表達式：
$$f(x)=\frac{1}{1+e^{?x}}$$
導數：
$$f^{\prime }(x)=f(x)(1?f(x))$$

特點：

• 優點：輸出平滑(0,1)
• 缺點：梯度消失嚴重
• 應用場景：
  • 車道線存在概率預測
  • 剎車概率估計

# 二分類輸出層
sigmoid = nn.Sigmoid()

3. Leaky ReLU

數學表達式：
$$f(x)=\{\begin{array}{ll}x& x>0\\ \alpha x& x\le 0\end{array}(\alpha =0.01)$$

特點：

• 改進：解決神經元死亡問題
• 應用場景：
  • 毫米波雷達噪聲數據處理；長距離毫米波雷達數據處理
  • 夜間低光照圖像處理

# 帶參數初始化
leaky_relu = nn.LeakyReLU(negative_slope=0.01)

二、進階激活函數

4. PReLU (Parametric ReLU)

數學表達式：
$$f(x)=\{\begin{array}{ll}x& x>0\\ \alpha x& x\le 0\end{array}(\alpha \text{可學習})$$

特點：

• 優勢：自適應調整負區間斜率
• 應用案例：
  • 多傳感器融合網絡
  • 雨霧天氣特征補償

# 可學習參數初始化
prelu = nn.PReLU(num_parameters=1, init=0.25)

5. Swish

數學表達式：
$$f(x)=x?\sigma (\beta x)(\beta \text{可調節})$$

特點：

• 優勢：平滑過渡，自門控機制；平衡線性與非線性特征
• 實測數據（Tesla BEV網絡）：
  • 比ReLU提升1.2% mAP
  • 推理時間增加15%

# 自定義實現
class Swish(nn.Module):def __init__(self, beta=1.0):super().__init__()self.beta = nn.Parameter(torch.tensor(beta))def forward(self, x):return x * torch.sigmoid(self.beta * x)

三、函數對比分析

特性	ReLU	Leaky ReLU	PReLU	Sigmoid	Swish
計算復雜度	O(n)	O(n)	O(n)	O(n)	O(2n)
梯度消失	緩解	緩解	緩解	嚴重	緩解
輸出范圍	[0, ∞)	(-∞, ∞)	(-∞, ∞)	(0,1)	(-∞, ∞)
可學習參數	無	無	有	無	可選
典型延遲（RTX 3090）	1.2ms	1.3ms	1.5ms	1.8ms	2.1ms

四、應用場景決策樹

五、多函數性能測試代碼

import torch
from torch import nn
import time# 測試配置
input_size = 1000000
x = torch.randn(input_size).cuda()# 函數集合
activations = {"ReLU": nn.ReLU(),"LeakyReLU": nn.LeakyReLU(0.01),"Swish": Swish(),"GELU": nn.GELU()
}# 基準測試
for name, func in activations.items():torch.cuda.synchronize()start = time.time()_ = func(x)torch.cuda.synchronize()print(f"{name}: {1000*(time.time()-start):.2f} ms")

典型輸出（RTX 3090）：

ReLU: 1.23 ms
LeakyReLU: 1.31 ms
Swish: 2.15 ms
GELU: 3.02 ms

六、工程選型建議

1. 實時感知層（>30FPS）：

   # 激光雷達特征提取
   self.act = nn.LeakyReLU(0.1)  # 兼顧效率與負值保留
   

2. 決策規劃層：

   # 路徑概率預測
   self.act = nn.Sequential(nn.Linear(256, 128),nn.SiLU(),  # Swish-1.0的官方實現nn.Dropout(0.3)
   )
   

3. 極端環境處理：

   # 雨霧天氣補償網絡
   self.act = nn.PReLU(num_parameters=64)  # 每通道獨立學習
   

4. 邊緣設備部署：

   # 車載ECU部署
   self.act = nn.ReLU6()  # 限制最大輸出值6.0
   

通過深入理解激活函數的數學特性和工程實踐中的表現差異，開發者可以針對自動駕駛的不同子系統（感知、預測、規劃）選擇最優激活策略，在計算效率和模型性能之間取得最佳平衡。

---

七、補充信息

其它激活函數

在nuScenes數據集上的實驗結果：

激活函數	mAP(%)	推理時間(ms)	功耗(W)
ReLU	72.3	15.2	23.1
GELU	74.1	17.8	25.3
Mish	75.6	18.5	26.7

未來發展與挑戰

1. 動態權重優化：結合元學習實現場景自適應矩陣更新
2. 神經形態計算：采用Spiking ReLU降低功耗90%+
3. 量子矩陣運算：探索量子比特加速特征變換的可能性
4. 可解釋性研究：通過矩陣分解可視化特征決策路徑

---