大語言模型（LLMs）自我反思的結果很容易受提示詞構造的影響

大型語言模型（LLMs）展現出令人印象深刻的零樣本和少樣本推理能力。有人提出，這些能力可以通過自我反思來提升，即讓大型語言模型反思自己的輸出，以識別和糾正初始回答中的錯誤。然而，盡管有一些證據表明自我反思的好處，但最近的研究結果卻好壞參半。在這里，我們旨在調和這些相互矛盾的發現，首先證明自我反思的結果對提示詞措辭敏感；例如，當明確提示大型語言模型尋找錯誤時，它們更有可能得出自己犯了錯誤的結論。因此，反思提示詞的特殊性可能導致大型語言模型不必要地改變正確的回答。我們表明，自我反思文獻中使用的大多數提示詞都容易受到這種偏差的影響。然后，我們提出了不同的構建提示詞的方法，這些方法在識別錯誤時更為保守，并表明使用此類提示詞進行自我反思會導致更高的準確性。我們的發現強調了提示工程在自我反思任務中的重要性。

• 研究背景：大語言模型能通過自我反思（即自己檢查答案找錯誤并修正）提升推理能力，但不同研究對其效果的結論不一致。作者發現，這