Top - p采樣 是什么：核采樣：排序，累計到0.7，隨機選擇

在自然語言生成和大規模語言模型推理中，Top - p采樣（又叫核采樣，Nucleus Sampling）是一種基于累積概率的采樣策略。

Top - p介紹

Top - p中的p是一個概率閾值，取值范圍是0到1。它表示在生成文本時，從概率分布中選擇累計概率大于或等于p的最小詞集，然后從這個詞集中隨機選擇一個詞作為輸出。
例如，如果p = 0.7，那么模型會從概率分布中選出累計概率達到0.7的那些詞，然后從中隨機挑選一個作為下一個生成的詞。較低的p值會使模型更傾向于選擇最可能的詞，生成的文本更可預測和重復；較高的p值則會讓模型考慮更大的詞集，生成的文本更多樣和有創意。

原理：排序，累計到0.7，隨機選擇

• 概率排序與累積：模型在生成每個詞時，會先對詞匯表中的所有詞計算一個概率分布（通常通過Softmax函數得到）。將這些詞按照概率從核采樣，然后依次累加這些詞的概率，直到累加的概率大于或等于設定的p值為止，此時所包含的詞就構成了用于采樣的候選詞集。
• 隨機采樣：從得到的候選詞集中，按照它們各自的概率進行隨機采樣，選擇其中一個詞作為生成的結果。