Why Prompt Design Matters and Works: A Complexity Analysis of Prompt Search Space in LLMs

提示工程如何從經驗技巧升級為系統科學

一、Transformer的先天缺陷：計算深度固化與信息丟失

原理

Transformer架構的計算能力存在固有局限：

1. 計算深度固化：其隱狀態僅在層間傳遞（垂直方向），最大序列計算步數等于模型層數（固定值），無法隨輸入長度或任務復雜度動態增加（如棋局推理需要隨步數迭代更新狀態，而Transformer層數固定，無法模擬這種動態過程）。
2. 信息壓縮丟失：若僅要求輸出最終答案（如“Q：1+2+3+4=？A：10”），模型需將多步計算壓縮到固定深度，導致中間狀態信息（如每步累加結果）丟失，難以處理復雜推理。