論文：Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models

????

Google DeepMind, ICLR 2024, arXiv:2310.06117

論文速讀

該論文受到的啟發是：人類再解決一個包含很多細節的具體問題時，先站在更高的層次上解決一些更加抽象的問題，可以拓展一個更寬闊的上下文環境，從而輔助解決這個具體的問題。

反應到 LLM 中，就是當問 LLM 一個具體的物理題目時，先讓 LLM 解決一個更加高層次的抽象問題 這個問題背后用得到物理定律或法則是什么？ ，然后再讓 LLM 去解決那個包含了很多細節的具體的物理題目，可能效果就會更好，準確率更高。

因此，本論文提出了 Step-Back 的 prompting 思路，示例如下：

如上圖所示，上半部分中，original question 是一個具體的物理問題，Step-Back Prompting 先讓 LLM 進行抽象得到一個 StepBack Question，也就是“這個物理問題背后的物理定律是什么”，然后再去檢索這個 StepBack Question 得到相關事實，然后基于以上信息去讓 LLM 做 reasoning 得到 final answer。

簡而言之，Step-Back Prompting 包含兩個簡單的步驟：

• Abstraction：先讓 LLM 根據 original question 提出一個更高層次概念的 step-back question，并檢索這個 step-back question 的相關事實
• Reasoning：基于高層次概念或原則的事實，LLM 就可以去推理原始問題的解決方案了。

分析討論

StepBack Prompting 思路中的“抽象”通過去除不相關的細節和提煉高級概念或原則來指導具體問題的解決。

通過實驗分析，abstraction 對于 LLM 來說是一個簡單的任務，通過一些 few-shot exemplar 即可使用 in-context learning 來學會，但 reasoning 對于 LLM 來說仍然是最難學會的任務，在多個 error cases 上做分析，推理仍然是主要的錯誤來源。