LoRA中黑塞矩陣、Fisher信息矩陣是什么

1. 三者的核心概念

• 黑塞矩陣（Hessian）
  二階導數矩陣，用于優化問題中判斷函數的凸性（如牛頓法），或計算參數更新方向（如擬牛頓法）。

• Fisher信息矩陣（Fisher Information Matrix, FIM）
  統計學中衡量參數估計的不確定性，反映數據中包含的關于參數的信息量。在機器學習中常用于自然梯度下降（Natural Gradient Descent）。

• LoRA（Low-Rank Adaptation）
  一種模型微調技術，通過低秩分解近似全連接層的權重矩陣，減少計算量和存儲需求（如用于大語言模型微調）。

2. 三者的關系

（1）優化中的聯系

• 黑塞矩陣與Fisher矩陣