遷移學習上的一個老問題，怎么做多領域的遷移？以前的邏輯認為領域遷移屬于是對參數做方向性的調整，如果兩個領域方向相左，實際上不管怎么加權相加都是不合理的。

目前一些做法想著去觀察LoRA權重矩陣中的稠密塊與稀疏塊，選擇稠密的部分予以保留，稀疏的部分予以舍棄，然后有選擇地進行合并，這是一種很模糊的做法，實際上也缺乏理論保證，而且，低秩與稀疏通常并不等價。

假定是做秩一分解：

$$\begin{gathered} h_1=W_{0}x+(B_1{A}_1)x=W_{0}x+\left(\sum _{i=1}^{r_1}{d}_{1i}{v}_i{v}_i^{?}\right)x=W_{0}x+\sum _{i=1}^{r_1}(d_{1i}{v}_i^{?}x)v_i=W_{0}x+\sum _{i=1}^{r_1}{k}_{1i}{v}_i \\ {h}_2=W_{0}x+(B_2{A}_2)x=W_{0}x+\left(\sum _{i=1}^{r_2}{d}_{2i}{u}_i{u}_i^{?}\right)x=W_{0}x+\sum _{i=1}^{r_2}(d_{2i}{v}_i^{?}x)v_i=W_{0}x+\sum _{i=1}^{r_2}{k}_{2i}{v}_i \end{gathered}$$

調整的其實就是rank數量的單位向量的加權和。

這里面的$u_i,v_i$都是單位向量，$d_{1i}$和$d_{2i}$表示奇異值。

$k_{1i}$和$k_{2i}$都是標量。

那么我們可以在每一層的輸出時，選擇需要保留的若干個單位向量的加權和作為這層的輸出，保留的依據可以根據$k_{1i}$和$k_{2i}$的大小來確定（保大去小）。

比如在合并的時候從$r_1+r_2$個秩一矩陣中取$\frac{r_1+r_2}{2}$個出來作為融合后的LoRA

這樣的調整本身關于輸入$x$是動態的，復雜度很差。

另一件事就是白盒壓縮、或者說模型壓縮的時候，為什么不直接用SVD進行降維處理呢，重新訓練一個小模型出來，可能連模型結構都不一樣的模型出來替代原模型，難道還能比跟原模型結構相同的東西有更令人信服的性能嗎？

題外話，以及做INT量化與用SVD進行降維處理，兩種方法截然不同，對精度的影響有何區別呢？兩者都對隱層權重的數值，從而影響每個隱層的輸出，但是直覺上，INT量化產生的誤差的方差在point-wise上是處處相等的（即均勻誤差），但是SVD似乎并非如此，因為SVD給出的誤差其實是若干個比較小的奇異值所對應的秩一矩陣的加權和，而秩一矩陣值的分布顯然不可能是均勻分布，這取決于奇異向量的分布：

(1) 高度結構化

• 所有行成比例：矩陣的每一行是向量$v$的標量倍數（系數為$u_i$）。
  $$\text{第}i\text{行}=u_i?[v_1,v_2,\dots ,v_n]$$
• 所有列成比例：每一列是向量$u$的標量倍數（系數為$v_j$）。
  $$\text{第}j\text{列}=v_j?[u_1,u_2,\dots ,u_m{]}^T$$

(2) 數值分布依賴基向量

• 矩陣元素的值完全由$u$和$v$的分布決定：
  • 若$u$或$v$服從高斯分布，則$M_{ij}$是高斯變量的乘積（分布可能復雜，但通常呈現尖峰、重尾特性）。
  • 若$u$或$v$是稀疏的，則$M$也會稀疏。

(3) 特征值與奇異值

• 非零特征值：秩1矩陣僅有1個非零特征值（等于$u^{T}v$或$v^{T}u$）。
• 奇異值：唯一非零奇異值為$\Vert u\Vert ?\Vert v\Vert$，其余奇異值為0。

至少從誤差的分布上來說，量化要更穩定可控一些。

總是覺得現在人做事太簡單粗暴了，沒有理論分析的支撐，全憑拍腦袋。

下面簡單看一看DeepSeek對于多LoRA合并的論述：

---

多LoRA并行（Multiple LoRA Adapters Parallel）的底層邏輯涉及在模型運行時動態組合多個低秩適配器的權重，其核心是通過并行計算或權重疊加的方式將不同LoRA模塊的影響同時作用于基座模型（Base Model）。

---

1. 基本概念回顧

• LoRA的本質：
  在原始模型權重 $W_0\in {\mathbb{R}}^{d\times k}$ 旁注入低秩矩陣 $A\in {\mathbb{R}}^{d\times r}$ 和 $B\in {\mathbb{R}}^{r\times k}$，其中 $r?\min (d,k)$。
  前向傳播時，輸出為：
  $$h=W_{0}x+(BA)x$$
• 多LoRA并行：
  同時激活多個LoRA模塊（如 $B{A}^{(1)}+B{A}^{(2)}+\dots$），輸出變為：
  $$h=W_{0}x+\sum _{i=1}^N(B^{(i)}{A}^{(i)})x$$

---

2. 運行時計算的兩種實現方式

方式1：權重直接疊加（靜態合并）

步驟：

1. 離線合并：在加載模型時，將所有激活的LoRA的增量權重 $\Delta W_i=B^{(i)}{A}^{(i)}$ 相加：
   $$\Delta W_{\text{merged}}=\sum _{i=1}^N{B}^{(i)}{A}^{(i)}$$
2. 前向計算：僅需計算一次合并后的增量：
   $$h=W_{0}x+\Delta W_{\text{merged}}x$$

底層邏輯：

• 優點：計算量與單LoRA相同，無額外開銷。
• 缺點：靜態合并后無法動態調整適配器組合。
• 適用場景：推理時需固定融合多個LoRA。

代碼示例（PyTorch）：

# 假設 lora_A 和 lora_B 是兩個LoRA模塊的增量權重
delta_W = lora_A @ lora_B + lora_C @ lora_D  # 低秩矩陣乘法
h = base_model_W @ x + delta_W @ x

方式2：動態并行計算（運行時逐適配器計算）

步驟：

1. 獨立保留LoRA權重：保持每個LoRA的 $A^{(i)}$ 和 $B^{(i)}$ 矩陣獨立存儲。
2. 前向傳播時逐適配器計算：
   $$h=W_{0}x+\sum _{i=1}^N(B^{(i)}(A^{(i)}x))$$
   • 先計算所有 $A^{(i)}x$，再與對應的 $B^{(i)}$ 相乘，最后累加結果。

底層邏輯：

• 優點：支持動態開關適配器（如根據輸入選擇不同的LoRA組合）。
• 缺點：計算量隨LoRA數量線性增長（需 $N$ 次低秩矩陣乘法和累加）。
• 適用場景：需要運行時靈活切換適配器的場景（如多任務推理）。

代碼示例（PEFT庫實現邏輯）：

# 偽代碼：動態多LoRA計算
h = base_layer(x)
for adapter in active_adapters:lora_A = adapters[adapter].A  # 形狀 (d, r)lora_B = adapters[adapter].B  # 形狀 (r, k)h += (lora_B @ (lora_A @ x)) * adapter.scaling  # 縮放系數

---

3. 關鍵優化技術

為了減少多LoRA并行的計算開銷，框架（如PEFT）通常會采用以下優化：

(1) 共享基座模型權重

• 所有LoRA復用同一份 $W_0$，僅額外存儲增量部分 $\Delta W_i$。

(2) 批處理低秩計算

• 將多個LoRA的 $A^{(i)}$ 拼接為大矩陣 $A_{\text{stack}}\in {\mathbb{R}}^{N?r\times d}$，通過一次矩陣乘法和分割結果加速計算：
  $$[A^{(1)}x;A^{(2)}x;\dots ]=A_{\text{stack}}x$$
  再分別與對應的 $B^{(i)}$ 相乘。

(3) 延遲縮放（Scaling）

• 將LoRA的縮放系數 $\frac{\alpha }{r}$ 合并到 $B^{(i)}$ 中，避免重復乘法：
  $$B^{\prime (i)}=B^{(i)}?\frac{\alpha }{r}$$

---

4. 數學形式對比

假設有兩個LoRA（$\Delta W_1=B_1{A}_1$, $\Delta W_2=B_2{A}_2$）：

方法	計算過程	FLOPs
靜態合并	$h=W_{0}x+(B_1{A}_1+B_2{A}_2)x$	$O(dk+dr+rk)$
動態并行	$h=W_{0}x+B_1(A_{1}x)+B_2(A_{2}x)$	$O(dk+2(dr+rk))$
批處理優化	$h=W_{0}x+[B_1,B_2]?[A_1;A_2]x$	$O(dk+d(2r)+(2r)k)$

---

5. 實際框架中的實現

以PEFT（Hugging Face）為例：

1. 注冊多個適配器：

   model.add_adapter("adapter1", lora_config_A)
   model.add_adapter("adapter2", lora_config_B)
   

2. 動態激活組合：

   model.set_active_adapters(["adapter1", "adapter2"])
   

3. 底層計算：
   • PEFT自動選擇動態并行計算（方式2），按需累加所有激活適配器的輸出。

---

6. 總結：多LoRA并行的本質

• 靜態合并：算術疊加權重，適合固定組合的輕量推理。
• 動態并行：獨立計算后求和，適合靈活適配但計算成本較高。
• 優化方向：通過批處理和共享基座權重減少冗余計算。

如果需要進一步分析具體框架（如PEFT、AdaLoRA）的實現細節，可以提供更多上下文！