淺談temperature
什么是temperature?
temperature是大預言模型生成文本時常用的兩個重要參數。它的作用體現在控制模型輸出的確定性和多樣性:
-
控制確定性:
temperature參數可以控制模型生成文本的確定性,大部分模型中temperature取值范圍為(0-1]。
- 接近0時,模型傾向于選擇概率最高的輸出,使生成的文本更加確定、一致。
- 接近1時,模型傾向于按照概率分布隨機選擇輸出,使輸出的文本更加多樣化。
-
創造性與多樣性:
較高的值能夠鼓勵模型嘗試不同的、可能較少出現的表達,從而增加生成內容的創造性和多樣性。如文學創作場景設置高一點
temperature邏輯通俗理解
圖片不清晰,附件為pdf原圖