ICLR 2025 5566
自從 GPT 的成功以來，大型語言模型（LLMs）徹底革新了機器學習領域，催生了所謂的 LLM 提示范式（prompting paradigm）。在這一范式下，研究者傾向于訓練一個通用的大模型，通過提供不同的提示（prompt）來完成不同的任務。
然而，盡管這一實踐在經驗上取得了巨大成功，目前對于其理論基礎仍缺乏系統研究。
本工作是我們所知的首個對 LLM 提示范式進行的理論研究。我們證明了一個重要結論：提示（prompting）本質上是圖靈完備的。也就是說，存在一個固定大小的 Transformer，使得對任何可計算函數，都存在一個對應的提示，使該 Transformer 能夠計算該函數的輸出。
進一步地，我們還證明：盡管僅使用一個有限大小的 Transformer，它依然能夠實現接近于所有無限大小 Transformer 所能達到的復雜度上限。
總體而言，本研究表明：
-
提示工程不僅在實踐中有效，也具備堅實的理論基礎；
-
一個固定規模的 LLM，通過提示即可實現高效的通用計算能力，從而支持多任務與泛化能力的核心機制。
這一發現為 LLM 提示范式提供了理論支撐，也為提示工程（prompt engineering）的進一步研究與優化指明了方向。
