語義熵怎么增強LLM自信心的
一、傳統Token熵的問題（先理解“痛點”）
比如模型回答“阿司匹林是否治療頭痛？”→ 輸出“是”
- 傳統Token熵：只看“詞的概率”，比如“是”這個詞的概率特別高（Token熵0.2，數值低說明確定性強 ）。
- 但實際風險：醫學場景里，“是”的字面肯定，不代表語義上絕對正確（比如阿司匹林能緩解頭痛，但有禁忌癥、不能隨便用 ）。傳統Token熵沒考慮語義層面的“模糊性、風險”，可能輸出看著確定，實際語義上漏洞大。
二、語義熵的核心邏輯（解決什么問題？）
語義熵想干的事：不只看“選了哪個詞”，更看“語義是否嚴謹、有沒有隱藏風險”。
- 怎么做？→ 用“核函數”算詞之間的語義相似性（比如“緩解”“治療”“止痛”在語義上是相關的 ），再構建一個“語義密度”的概率分布（類似：哪些語義是模型實際想表達的？有多集中？）。
- 公式簡化理解：
)
