Buffer of Thoughts: Thought-Augmented Reasoningwith Large Language Models

CODE:?NeurIPS 2024

https://github.com/YangLing0818/buffer-of-thought-llm

Abstract

我們介紹了思想緩沖(BoT)，一種新穎而通用的思想增強推理方法，用于提高大型語言模型(大型語言模型)的準確性、效率和魯棒性。具體來說，我們提出了元緩沖區來存儲一系列信息豐富的高級思想，即思想模板，這些思想是從不同任務的解決問題過程中提煉出來的。然后，針對每個問題，檢索相應的思想模板，并自適應地實例化特定的推理結構，以進行有效的推理。為了保證可擴展性和穩定性，我們進一步提出了緩沖區管理器來動態更新元緩沖區，從而在處理更多任務時增強元緩沖區的容量。我們在10個具有挑戰性的推理密集型任務上進行了廣泛的實驗，并比以前的SOTA方法取得了顯著的性能改進:Game of 24提高了11%，Geometric Shapes提高了20%，checkmate in- one提高了51%。進一步的分析表明，我們的BoT具有卓越的泛化能力和模型魯棒性，而平均只需要多查詢提示方法(例如，樹/思想圖)的12%的成本。值得注意的是，我們發現我們的Llama3-8B + BoT具有超越Llama3-70B模型的潛力。

Introduction

一系列大型語言模型(Large Language Models, LLMs)，如GPT-4、PaLM和LLaMA，已經在各種推理任務中展示了令人印象深刻的性能。除了擴大模型大小來提高推理性能外，還有更有效的提示方法可以進一步增強大型語言模型的功能和性能。我們將這些方法分為兩類:

(i)單查詢推理;這些方法通常側重于提示工程，它們的推理過程可以在單個查詢中完成，例如CoT在輸入查詢中附加“Let ' s think step by step”以產生提高推理精度的理由，以及少量樣本學習提示，它提供了與任務相關的范例來幫助答案的生成;

(ii)多查詢推理:這些方法側重于利用多個大型語言模型查詢來引出不同的似是而非的推理路徑，從而將復雜問題分解為一系列更簡單的子問題，如Least-to-Most、ToT和GoT。

然而，這兩種方法都存在一定的局限性:

(1)單查詢推理通常需要對推理過程進行先驗假設或相關示例，難以逐個任務手工設計，缺乏通用性和泛化性;

(2)由于推理路徑的遞歸擴展，當為每個特定任務的推理過程尋找唯一的內在結構時，多查詢推理通常是計算密集型的;

(3)單查詢和多查詢推理過程都受到其設計的示例和推理結構的限制，它們忽略了從先前完成的任務中推導出一般和高級的指導方針或思想，這些指導方針或思想對于解決類似問題時提高效率和準確性具有重要意義。

為了解決這些限制，我們提出了思想緩沖(BoT)，這是一種新穎而通用的思想增強推理框架，旨在提高大型語言模型在各種任務中的推理準確性、效率和魯棒性。具體來說，我們設計了元緩沖區，這是一個輕量級的庫，包含一系列通用的高級思想(思想模板)，這些思想是從不同的問題解決過程中提煉出來的，可以跨任務共享。然后，對于每個問題，我們檢索一個相關的思想模板，并用特定的推理結構實例化它，以實現有效的思想增強推理。為了保證BoT的可擴展性和穩定性，我們進一步提出了緩沖區管理器來動態更新元緩沖區，隨著任務的增加，有效地提高了元緩沖區的容量。

我們的方法有三個關鍵優勢:

(i)準確性提高:通過共享的思想模板，我們可以自適應地實例化處理不同任務的高級思想，從而消除了從頭開始構建推理結構的需要，從而提高了推理準確性。

(ii)推理效率:我們的思維增強推理可以直接利用信息豐富的歷史推理結構進行推理，而不需要復雜的多查詢過程，從而提高推理效率。

(iii)模型魯棒性:從思想檢索到思想實例化的過程就像人類的思維過程一樣，使大型語言模型能夠以一致的方式解決類似的問題，從而顯著增強了我們方法的模型魯棒性。我們的實證研究表明，緩沖思想顯著提高精度，效率和魯棒性在不同的任務陣列。

貢獻:

1. 為了提高基于llm的推理的準確性、效率和魯棒性，我們提出了一種新的思想增強推理框架——思想緩沖(BoT)。

2. 我們提出了元緩沖區來存儲從不同問題中提煉出來的信息豐富的高級思想，并自適應地實例化每個思想模板來解決每個特定的任務。

3. 我們設計了緩沖區管理器，從各種解決方案中提取思想模板，并隨著任務的解決不斷提高元緩沖區的容量。

4. 我們對10個具有挑戰性的推理密集型任務進行了廣泛的實驗。與以前的SOTA方法相比，我們的BoT實現了顯著的性能改進:Game of 24提高了11%，Geometric Shapes提高了20%，將死合一提高了51%，而平均只需要多查詢提示方法12%的成本。

Related Work and Discussions

Retrieval-Augmented Language Models?引入檢索增強(Large)語言模型作為緩解幻覺現象和提高語言模型輸出質量的解決方案。當提供一個輸入問題時，檢索增強大型語言模型首先查詢一個具有十億級令牌的外部數據庫，以檢索文本語料庫的子集，以幫助生成最終答案。值得注意的是，與傳統的大型語言模型相比，檢索增強的大型語言模型使用更少的參數實現了更好的問答性能，并且它已經在各種下游任務中得到了應用，包括多模態生成和生物醫學應用。在本文中，我們構建了一種新的檢索數據庫，稱為元緩沖區，它包含一系列高層次的思想，而不是具體的實例，旨在普遍解決基于llm的推理的各種任務。

Prompt-based Reasoning with Large Language Models?提示技術顯著增強了大型語言模型的算術和常識推理能力。思維鏈(CoT)提示及其變體，如Least-to-Most、decomposition提示和Auto-CoT，提示大型語言模型將復雜問題分解為更簡單的子任務，并在總結最終答案之前系統地解決它們。許多研究已經證明了這些提示方法在廣泛的任務和基準中是有效的。像Tree-of-Thought和Graph-of-Thought這樣的創新，通過探索動態的、非線性的推理路徑來擴展大型語言模型的啟發式能力，進一步推動了這一領域的發展。然而，它們面臨著不斷增加的資源需求和更大的時間復雜性，依賴于手動提示制作，并且經常針對特定的任務類型進行定制。最近的元提示方法對各種任務使用相同的任務無關的提示形式，并遞歸地引導單個大型語言模型自適應地處理不同的輸入查詢。然而，如此長的元提示可能需要相當大的上下文窗口，并且這些方法無法利用歷史信息指導或想法來執行潛在的類似任務。?

Analogical Reasoning?類比推理是一種有用的自然語言推理技術。最近的研究表明，大型語言模型可以像人類一樣進行類比推理。例如，Analogical prompts和Thought Propagation提示大型語言模型自生成一組類似問題，然后利用類似問題的結果生成輸入問題的解。然而，針對自探索問題的具體解決方案可能會引入額外的噪聲并導致誤差積累。最近的思想檢索器使用解決過去用戶時產生的中間思想來處理類似的查詢，但它只關注文本理解/生成，而不是一般的推理問題。因此，大型語言模型復雜推理仍然缺乏更高級和更普遍的類比方法。

Buffer of Thoughts

Overview of Buffer of Thoughts?在本節中，我們將詳細介紹我們的思想緩沖，并在圖2中說明我們的核心思想增強推理過程。給定一個特定的任務，我們利用問題提取器(第3.1節)提取特定于任務的關鍵信息以及相關約束。基于提煉出來的信息，我們在包含一系列高級思想(思想模板)的元緩沖區(第3.2節)中搜索，并檢索與任務最相關的思想模板。隨后，我們將檢索到的思想模板實例化為更具任務特異性的推理結構，并進行推理處理。最后，我們使用了一個緩沖區管理器(第3.3節)來總結整個解決問題的過程，并提煉出提高元緩沖區容量的高級思想。

說明不同的推理過程。思想緩沖使大型語言模型能夠通過我們的思維增強推理過程來處理復雜的推理任務。思想模板用橙色標記，實例化的思想用藍色標記。

Problem Distiller

大多數復雜任務在其上下文中包含隱式約束、復雜的對象關系以及復雜的變量和參數。因此，在推理階段，大型語言模型需要克服三個主要挑戰:提取重要信息、識別潛在約束和執行準確的推理。這些挑戰將給一個大型語言模型帶來沉重的負擔。因此，我們通過在推理過程中增加一個問題蒸餾器，將任務信息的提取和理解階段與最終推理階段分開。具體來說，我們設計了一個元提示φ來首先提取和形式化任務信息。提取的任務信息可表示為:

其中x是任務語句。由于頁面限制，我們將problemdistiller的詳細元提示放在附錄A.2中。

Problem Condensation and Translation?我們使用問題蒸餾器從輸入任務中提取關鍵元素，重點關注:(1)解決問題的基本參數和變量;(2)輸入任務的目標及其約束條件。然后，我們將這些提煉出來的信息重新組織成清晰、可理解的格式，以供后續推理階段使用。然后，我們將具體問題轉化為高級概念和結構。這個翻譯過程將復雜的現實問題，如復雜的數學應用場景，分解成更簡單的多步計算，使其更容易在以后檢索高層次的思想。

Thought-Augmented Reasoning with Meta Buffer?

Motivation?人類在解決問題時，往往會總結和歸納出更高層次的準則，然后將其應用于相關問題。受此啟發，我們提出了元緩沖區，這是一個輕量級庫，包含一系列高級思想(思想模板)，用于解決各種類型的問題。與傳統方法不同，我們的高級思想模板可以在解決不同問題時自適應實例化，從而提高大型語言模型的精度和靈活性。

Thought Template?作為一種高級指南，我們的思想模板存儲在元緩沖區中，并由緩沖區管理器從各種解決問題的過程中獲得。關于獲取思想模板的細節將在3.3節中介紹。由于我們的BoT旨在為各種任務提供通用的推理方法，因此我們相應地將思想模板分為六類:文本理解、創造性語言生成、常識推理、數學推理、代碼編程和應用程序調度。我們在附錄A.1中提供了一些示例思想模板。這種思想模板的分類可以方便地檢索模板，為不同的問題找到最合適的解決方案。這里我們將思想模板、模板描述及其對應的范疇表示為(Ti,DTi, Ck)，其中i表示元模板的索引，k∈Z+，1≤k≤6，表示Ck屬于六個范疇之一，DTi表示思想模板的描述。

Template Retrieval?對于每個任務，我們的BoT通過計算描述DTi和xd之間的嵌入相似度來檢索與提煉問題xd高度相似的思想模板Ti。檢索過程可表述為:

N為元緩沖區的大小，f(·)為普通文本嵌入模型，Tj為檢索到的思想模板。我們設置了一個閾值δ(建議0.5 ~ 0.7)來確定當前任務是否為新任務。因此，如果Sim(f(xd)， {f(DTi)}n i=0) < δ，我們將任務x識別為新任務。

Instantiated Reasoning?對于每個特定的任務，我們討論實例化推理的兩種情況，這取決于當前任務是否是新的:第一種情況是我們成功地檢索了任務的思想模板Tj。在這種情況下，如圖2所示，我們的思想增強推理將通過我們設計的實例化提示(見附錄A.3)自適應地實例化到合適的推理結構。例如，在將軍合一問題中，我們實例化了更新棋盤狀態的模板來逐步解決問題。因此，我們使用提取的信息xd和檢索到的模板Tj對任務x進行實例化推理，得到其解Sx為:

其中llmininstance表示具有大型語言模型的實例化推理器。

在第二種情況下，任務被標識為新任務。為了啟用適當的實例化推理，我們準備了三個通用的粗粒度思想模板供使用。基于提取的任務信息xd，我們的BoT將自動為推理過程分配合適的思想模板。詳細的預先定義的思想模板包含在附錄A.3中。

Buffer Manager

我們建議使用buffer-manager來總結從每個問題解決過程中獲得的高級指導方針和思想。它可以將每個特定的解決方案推廣到更多的問題，將提煉出來的關鍵知識以思想模板的形式存儲在元緩沖區中。與為每個問題臨時生成示例或指令的方法相比，我們的緩沖管理器可以確保基于llm的推理在準確性、效率和魯棒性方面的永久進步。

Template Distillation?為了提取一個通用的思想模板，我們提出了三步走的方法:

(1)核心任務總結:識別和描述問題的基本類型和核心挑戰;

(2)解決步驟說明:總結解決問題的一般步驟;

(3)通用回答模板:在上述分析的基礎上，提出一個可以廣泛應用于類似問題的解決模板或方法。

此外，為了提高模板蒸餾的泛化能力和穩定性，我們精心設計了兩種類型的上下文示例，用于生成任務中思想模板和跨任務示例。交叉任務意味著我們選擇從一個任務中提煉出來的模板來解決其他任務的問題，比如用一個與代碼相關的思想模板來解決一個數學問題。從輸入任務x提取的新模板可以表示為:

其中llm蒸餾器是基于llm的模板蒸餾器，用以下提示符初始化:

Dynamic Update of Meta-Buffer?模板蒸餾后，我們需要考慮蒸餾后的模板是否應該更新到元緩沖區中。如果我們初始化一個空的元緩沖區，或者遇到一個沒有合適的思想模板的問題，提煉出來的思想模板將直接存儲在元緩沖區中。如果我們用檢索到的思想模板來解決問題，新的見解可能會在某個思想模板的實例化過程中產生。因此，為了在保持新生成的信息思想的同時避免元緩沖區的冗余，我們將計算DTnew與{DTi}的嵌入向量i=0之間的相似度，并按照以下規則更新元緩沖區:

否則，這意味著元緩沖區已經擁有解決此任務所需的知識，不需要執行更新。我們的動態更新策略有效地減少了模板檢索的計算負擔，同時保證了元緩沖區的輕量級。我們在第6節進一步進行燒蝕研究進行分析。

Additional Method Details

Detailed Thought-Templates

Text Comprehension

任務描述:該任務包括分析一個包含企鵝的各種屬性(如姓名、年齡、身高和體重)的表，并回答有關這些屬性的問題。表可以用新條目更新，并且可以用自然語言提供額外的上下文或比較。

解決方案描述:要準確地回答有關企鵝屬性的問題，必須能夠解釋以表格形式呈現的數據，理解以自然語言提供的任何附加信息，并根據所問問題應用邏輯推理來識別正確的屬性。

思想模板:

第1步:解析初始表，將標題信息和每個企鵝的屬性提取為結構化格式(例如，字典列表)。

步驟2:讀取并集成更新或添加到表中的任何其他自然語言信息，確保數據保持一致。

步驟3:確定所討論的屬性(例如，最老的企鵝，最重的企鵝)和表中相應的列。

步驟4:應用邏輯推理來比較所有條目中的相關屬性以找到正確答案(例如，最老企鵝的最高年齡)。

步驟5:從提供的選項中選擇與邏輯比較結果匹配的答案。

Creative Language Generation

任務描述:任務是生成一首遵循傳統英語十四行詩“ABAB CDCD EFEF GG”押韻方案的十四行詩，并在文本中逐字包含三個特定的單詞。

解決方案描述:寫一首十四行詩需要按照特定的押韻模式制作14行詩。這些線條通常是抑揚格的五音步，盡管出于創造性的原因可以允許節奏的靈活性。給定的押韻方案決定了每一行的結尾音，確保了有結構的詩歌形式。將所提供的三個單詞一字不差地結合在一起，需要有策略地放置在行內，以保持詩歌的連貫性和主題的統一。

思想模板:

第一步:確定必須包含在十四行詩中的三個詞。

第二步:理解“ABAB CDCD EFEF GG”的韻律，并準備一個可以使用的押韻詞列表。

第三步:為十四行詩制定一個主題或故事，可以自然地結合三個提供的單詞。

第四步:開始起草十四行詩，按照“ABAB”押韻方案寫第一個四行詩(四行)，確保包含一個或多個提供的單詞。

第五步:繼續第二個四行詩“CDCD”，第三個四行詩“EFEF”，最后是結束的對行詩“GG”，每次都根據需要合并提供的單詞。第六步:回顧十四行詩的連貫性、流暢性和對韻式的堅持，必要時進行調整。