基于動態增強的 LLM 置信度方法研究

一、引言（Introduction）
大型語言模型（LLM）的性能提升高度依賴于對模型內部表征的精準調控 —— 表征工程通過優化模型中間層隱藏狀態的傳遞規律，能夠在不改變模型參數的前提下顯著提升任務適應性（Wei et al., 2022）。當前主流方法中，靜態微調（如 LoRA）需額外存儲參數，而提示工程依賴人工設計，均存在靈活性與效率的平衡問題。更關鍵的是，LLM 中間層隱藏狀態包含層級化的語義信息（Meng et al., 2022），現有方法多忽略 “重要特征強化 - 次要特征抑制” 的動態調整，導致表征傳遞中的噪聲累積。
本研究的核心意義在于提出一種實時中間層增強機制：通過攔截模型前向傳播中的隱藏狀態，基于特征重要性動態調整表征強度，既避免參數微調的存儲開銷，又能針對性強化關鍵語義信號。從技術層面，該方法解決了中間層干預中的數據類型一致性問題（如 float16 精度適配），為輕量化表征優化提供了可復用的工程范式；從理論層面，其通過數學化的特征篩選與加權策略，揭示了 “層級表征增益” 與生成質量的關聯規律。
具體而言，本文方法通過三個核心步驟實現：1）定義基于絕對值的特征重要性度量，篩選 top-k 關鍵特征；2）構建增強 - 抑制掩碼對隱藏狀態進行加權調整；3）通過鉤子機制實現前向傳播中的實時干預與后處理恢復。該方法在 Qwen2-7B-Instruct 模型上的實驗顯示，其無需預訓練或微調即可提升生成結果的準確性與聚焦性。
二、相關工作（Related Work）
2.1 LLM 表征工程的發展脈絡（2020-2025）
LLM 表征工程的研究隨模型規模擴張逐步從 “參數調整” 轉向 “表征調控”。2020