LLM生成文本的 束搜索參數是什么(Beam Search)
束搜索(Beam Search)是一種在序列生成任務(如機器翻譯、文本生成等)中常用的啟發式搜索算法,用于在搜索空間中尋找最優的生成序列。
束搜索的基本概念
在序列生成過程中,每一步都會有多個可能的選擇(即候選標記)。
貪心搜索會在每一步都選擇概率最高的標記
而束搜索則會在每一步保留概率最高的 num_beams
個候選序列,然后在后續步驟中繼續擴展這些序列,最終從這些擴展后的序列中選擇概率最高的作為最終結果。
束搜索參數
num_beams
:束寬,即每一步保留的候選序列的數量。num_beams
越大,搜索空間越大,找到更優解的可能性也越大,但同時計算量和內存消耗也會增加。當num_beams = 1
時,束搜索就退化為貪心搜索。early_stopping
:布爾值,用于控制是否在所有束都