LoRA（Low-Rank Adaptation）原理詳解

LoRA（低秩適應）是一種參數高效微調（Parameter-Efficient Fine-Tuning, PEFT）技術，旨在以極低的參數量實現大模型在特定任務上的高效適配。其核心思想基于低秩分解假設，即模型在適應新任務時，參數更新矩陣具有低秩特性，可用少量參數近似表示。以下從數學原理、實現步驟、優勢分析及變體擴展等方面展開說明。

---

一、核心數學原理與實現步驟

1. 低秩分解假設
   • 假設預訓練模型權重矩陣 $ W_0 \in \mathbb{R}^{d \times k} $ 的更新量 $ \Delta W $ 可分解為兩個低秩矩陣的乘積：
     Δ W = B ? A 其中 B ∈ R d × r ,   A ∈ R r × k ,   r ? min ? ( d , k ) \Delta W = B \cdot A \quad \text{其中} \quad B \in \mathbb{R}^{d \times r}, \ A \in \mathbb{R}^{r \times k}, \ r \ll \min(d,k)