解密企業級大模型智能體Agentic AI 關鍵技術:MCP、A2A、Reasoning LLMs- GPT源代碼解析
我們可以稍微看一下, 這是我們GPT的基于它的源代碼產生的可視化的內容。
這邊是model ,我們在談這個sampling的時候,本身首先就是說它這個probability distribution ,會有很多的參數對它進行影響。例如temperature,如果你是high temperature的話, 分布相對更加的 平均,導致的結果就是你可能有更多的surprise,因為他在選擇的時候,選擇的范圍或者說空間可能會更多,探索的內容可能更多。然后top k我相信這個大家肯定都很清楚, 例如說你前面50個,你從前面50個里面選 。
我們回到這里,比如說這邊你有10萬個token,然后你選擇的概率最高的50個 ,然后這邊是top p這個在我們的大模型智能體中特別重要,包括the reasoning model的, 例如說你已有的十個token,它累加變成這個P這樣的一個概率。比如說0.9,也就是說百分前90%的的概率里面token累加,但是他累加的結果就是他可能說是十個,也可能是50個,也可