關于大語言模型（LLM）置信度研究的經典與前沿論文 ：溫度縮放；語義熵；自一致性;事實與反思;檢索增強;黑盒引導;
目錄
-
- 關于大語言模型（LLM）置信度研究的經典與前沿論文 ：溫度縮放；語義熵；自一致性;事實與反思;檢索增強;黑盒引導;
-
- 一、校準方法：讓模型概率更貼近真實正確性
-
- 1. **溫度縮放（Temperature Scaling）**
- 2. **多校準（Multicalibration）**
- 二、不確定性估計：量化模型“不知道”的能力
-
- 1. **語義熵（Semantic Entropy）**
- 2. **圖不確定性（Graph Uncertainty）**
- 三、推理優化：通過過程增強置信度
-
- 1. **自一致性（Self-Consistency）**
- 2. **事實與反思（Fact-and-Reflection, FaR）**
- 四、檢索增強：引入外部知識校準
-
- 1. **檢索增強生成（RAG）與置信度對齊**
- 五、黑盒引導：無需模型內部信息的置信度估計
-
- 1. **引導置信度（SteerConf）**
- 六、后驗校準：基于反饋修正置信度
-
- 1. **證據深度學習（EDL）與信息瓶頸**
- 總結：置信度研究的三大趨勢
一、校準方法：讓模型概率更貼近真實正確性
1. 溫度縮放（Temperature Scaling）
- 論文：《On Calibration of Modern Neural Networks》（Guo et al., 2017）
原理：LLM輸出的概率分布常因模型過參數化而“過于尖銳”（高概率答案實際正確率低）。溫度縮放通過調整Softmax函數的溫度參數 T T T)，軟化概率分布，使概率值更符合實際正確性。公式為：
![[硬件]運算放大器對相位噪聲的影響與設計提示](http://pic.xiahunao.cn/[硬件]運算放大器對相位噪聲的影響與設計提示)
