論文地址：PURPLE: Making a Large Language Model a Better SQL Writer

摘要

大語言模型（LLM）技術在自然語言到 SQL（NL2SQL）翻譯中扮演著越來越重要的角色。通過大量語料訓練的 LLM 具有強大的自然語言理解能力和基本的 SQL 生成能力，無需針對 NL2SQL 任務進行額外調優。現有的基于 LLM 的 NL2SQL 方法試圖通過增強 LLM 對用戶意圖的理解來改進翻譯。然而，LLM 有時會因缺乏組織復雜邏輯運算符組合的知識而無法生成合適的 SQL。一種有前景的方法是向 LLM 輸入包含來自各種數據庫的已知 NL2SQL 翻譯示例，使 LLM 能夠從輸入示例中學習針對給定任務的運算符組合。在本文中，我們提出了 PURPLE（利用預訓練模型檢索邏輯增強提示），通過檢索包含當前 NL2SQL 任務所需邏輯運算符組合的示例來提高準確性，從而引導 LLM 生成更好的 SQL 翻譯。PURPLE 在流行的 NL2SQL 基準測試 Spider 的驗證集上實現了新的最先進性能，精確集合匹配準確率為 80.5%，執行匹配準確率為 87.8%。PURPLE 在不同的基準測試、預算約束和各種 LLM 中保持高精度，顯示出魯棒性和成本效益。

論文總結

本文提出了 PURPLE，一種新穎的基于 LLM 的 NL2SQL 方法，通過示例選擇提高翻譯精度。PURPLE 通過四級自動機對運算符組合知識進行建模，并設計了相關的自動機構建和匹配策略用于示例選擇。模式修剪和骨架預測輔助這一選擇過程，數據庫適配模塊則用于穩定輸出并緩解幻覺問題。PURPLE 成功地為 LLM 提供了 SQL 運算符組合知識，在四個流行的基準測試中實現了可靠的性能。我們還評估了 PURPLE 的魯棒性和 LLM 選擇的影響。未來的一個有前途的研究方向是開發基于生成的提示方法。雖然 PURPLE 有效地檢索現有示例來構建提示，但這種基于檢索的策略受到可用示例池的固有限制。使用 PLM 直接生成提示是一種潛在的更靈活的方法。這一方法可以提供一種更通用和直觀的提示創建方式。然而，基于生成的方法的主要挑戰在于微調 PLM 以有效地生成優化的提示。盡管在先前的研究中使用強化學習進行提示優化已經取得了一些成功，但專門針對提示生成微調 PLM 仍然存在困難。以現有示例為基礎，如 PURPLE，可能是未來開發更先進的基于生成的提示方法的寶貴起點。

一、設計方法、內容、原理

PURPLE 的核心目標是通過向 LLM 提供包含特定邏輯運算符組合的示例，提升其在 NL2SQL 任務中的 SQL 生成能力，尤其是在復雜邏輯處理上的準確性。其設計方法圍繞四個關鍵模塊展開，結合了模式修剪、骨架預測、示例選擇和數據庫適配，形成了一個完整的流程來優化 LLM 的輸出。以下是各模塊的詳細內容和原理：

1. 模式修剪（Schema Pruning）

目標：精簡數據庫模式，去除與當前查詢無關的表和列，縮短輸入長度并降低 LLM 處理復雜度。

• 步驟：
  • 相關性分類：使用 微調的 T5 分類器，預測每個表 / 列與 NL 查詢的相關性概率，設置閾值 τp?=0.5 篩選高概率項。
  • 斯坦納樹建模：將保留的表構建為 圖結構（節點為表，邊為外鍵關聯），通過 斯坦納樹算法 確保保留的表形成 連通子圖，避免遺漏通過外鍵關聯的隱含相關表。
  • 列修剪：對每個保留的表，保留概率高于 τp? 的列及主鍵，確保最少保留 τn?=5 列以維持表語義。
• 效果：減少輸入長度約 30%–50%，同時通過冗余邊界策略保證召回率，避免關鍵信息丟失。

2. 骨架預測（Skeleton Prediction）

目標：生成 SQL 的邏輯結構骨架，屏蔽具體數據庫元素（如表名、列名），聚焦 邏輯運算符組合（如 JOIN、WHERE、EXCEPT 的順序）。

• 步驟：
  • 骨架生成：使用 T5-3B 模型 微調為骨架生成器，輸入修剪后的模式和 NL 查詢，輸出 SQL 骨架（如 SELECT _ FROM _ EXCEPT SELECT _ FROM _ JOIN _ ON _ = _ WHERE _ = _）。
  • 波束搜索：采用 Top-3 波束搜索 生成多個骨架候選，增加邏輯組合的多樣性，提升后續示例匹配的召回率。
• 原理：骨架通過 占位符 抽象具體數據，僅保留運算符順序和結構，幫助 LLM 學習復雜邏輯的組織方式。

3. 示例選擇（Demonstration Selection）

目標：根據預測的 SQL 骨架，從訓練數據中檢索包含 匹配邏輯運算符組合 的示例，構建提示以引導 LLM 生成正確 SQL。

• 核心方法：四級自動機建模
  將 SQL 骨架抽象為 4 層自動機狀態，從低到高逐步屏蔽細節，增強泛化能力：
  • 細節級（Detail-Level）：保留表 / 列占位符（如 SELECT _ FROM TABLE1 JOIN TABLE2 ON _ = _）。
  • 關鍵字級（Keywords-Level）：僅保留 SQL 關鍵字（如 SELECT FROM JOIN ON WHERE）。
  • 結構級（Structure-Level）：將具體運算符泛化為類別（如 <CMP> 代表比較運算符，<IUE> 代表集合運算符 EXCEPT/UNION 等）。
  • 子句級（Clause-Level）：僅保留主句子結構（如 SELECT FROM [子句] JOIN [子句]）。
• 匹配策略：
  • 優先匹配 低抽象層次（更精確）和 高預測概率 的骨架，逐步提升泛化等級（如從細節級到子句級）以覆蓋預測誤差。
  • 使用 自動機狀態序列匹配 檢索示例，結合 Top-k 骨架候選 和 多抽象層次，平衡精度與覆蓋范圍。

4. 數據庫適配（Database Adaption）

目標：修復 LLM 生成的 SQL 中與具體數據庫模式或語法不兼容的錯誤（如幻覺表名、語法錯誤）。

• 錯誤類型及處理：
  • 表列不匹配：通過模式映射修正列所屬表（如將錯誤的 T2.title 改為正確的 T1.title）。
  • 列歧義：為同名列隨機分配表別名，確保唯一性。
  • 缺失表：根據外鍵關系補全 FROM 子句中遺漏的表。
  • 函數幻覺：移除數據庫不支持的函數（如 SQLite 不支持的CONCAT）。
  • 模式幻覺：用編輯距離最小的現有列 / 表替換虛構元素。
  • 聚合幻覺：拆分非法的多列聚合（如COUNT(DISTINCT A, B) 拆分為兩個獨立計數）。
• 執行一致性策略：生成多個 SQL 候選，通過數據庫執行結果投票選擇一致結果，減少隨機錯誤。

二、數據集

論文主要使用以下 4 個 NL2SQL 基準數據集 進行實驗，均基于跨領域（Cross-Domain）場景設計：

1. Spider

• 規模：包含 200 個數據庫（平均每個數據庫含多個表）和 10,181 條自然語言 - SQL 對，其中訓練集 8,659 條，驗證集 1,034 條。
• 特點：主流 NL2SQL 基準，要求處理復雜多表關聯查詢，側重評估跨領域泛化能力。
• 用途：作為主基準，驗證模型在標準場景下的性能。

2. Spider-DK

• 規模：基于 Spider 驗證集的 領域知識增強版本，包含 535 條查詢，涉及 10 個數據庫。
• 特點：引入 領域特定知識（如專業術語、隱含邏輯），測試模型對未顯式提及的數據庫模式的理解能力。

3. Spider-SYN

• 規模：1,034 條查詢，20 個數據庫（與 Spider 驗證集同規模）。
• 特點：通過 同義詞替換 修改原始 NL 查詢（如 “電影”→“影片”），挑戰模型對詞匯變體的魯棒性，避免依賴字面匹配。

4. Spider-Realistic

• 規模：508 條查詢，20 個數據庫。
• 特點：模擬真實場景，NL 查詢中 省略顯式列名引用（如用 “價格” 指代數據庫中的 “price” 列），要求模型通過語義推斷映射到正確的數據庫模式。

三、實驗設計

論文選取了 兩類主流方法 作為對照組，全面評估 PURPLE 的性能：

1. 基于大語言模型（LLM）的方法

• 零樣本（Zero-shot）：
  • C3：通過手工設計指令引導 LLM 生成 SQL，使用 ChatGPT/GPT4 作為后端。
  • ChatGPT-SQL：直接測試 ChatGPT 的零樣本 NL2SQL 能力，無任何示例輸入。
  • Zero-shot (GPT4)：純指令驅動的 GPT4 零樣本方法。
• 少樣本（Few-shot）：
  • DIN-SQL：采用 “思維鏈”（CoT）策略，通過分解問題步驟提升復雜查詢生成能力，使用 GPT4。
  • DAIL-SQL：基于 NL 查詢和 SQL 的相似度選擇示例，結合 GPT4 的少樣本學習。
  • Few-shot (GPT4)：隨機選取少量示例的基線少樣本方法，使用 GPT4。

2. 基于預訓練語言模型（PLM）的方法

• PICARD：通過增量解析約束自回歸解碼，基于 T5 模型。
• RESDSQL：解耦模式鏈接和骨架解析，基于 T5 的排序模型。
• RASAT/Graphix-T5：引入圖神經網絡增強模式表示的 PLM 方法。

四、實驗評價指標

論文采用 3 個核心指標 評估 NL2SQL 翻譯質量，覆蓋語法、語義和魯棒性：

1. 精確集合匹配（Exact-Set Match, EM）

• 定義：比較生成 SQL 與標準答案的組件級等價性（如 SELECT 列、JOIN 條件、WHERE 子句等），要求結構完全一致。
• 特點：嚴格評估語法和邏輯正確性，避免執行匹配的 “假陽性” 問題（不同 SQL 可能產生相同結果但語義不同）。

2. 執行匹配（Execution Match, EX）

• 定義：在數據庫中執行生成的 SQL，對比結果集與標準答案的一致性。
• 特點：反映實際執行效果，但可能掩蓋語義錯誤（如使用NOT IN替代EXCEPT導致結果相同但邏輯不同）。

3. 測試套件匹配（Test-Suite Match, TS）

• 定義：使用蒸餾數據庫（通過隨機抽樣生成的小數據集，覆蓋多種語義場景）執行 SQL，驗證結果的語義正確性。
• 特點：比 EX 更嚴格，能區分邏輯相近但語義不同的查詢（如EXCEPT與NOT IN的去重差異）。

五、關鍵實驗結論

• PURPLE vs 對照組：在 Spider 驗證集上，PURPLE（GPT4）實現80.5% EM和87.8% EX，遠超 DAIL-SQL（68.7% EM, 83.6% EX）和 RESDSQL（80.5% EM，PLM 最高）。
• 泛化能力：在 Spider-DK（領域知識）、Spider-SYN（同義詞替換）等變種數據集上，PURPLE 的 EM 比 C3 高 22% 以上，顯示更強魯棒性。
• 成本效率：PURPLE 在輸入長度 2048 tokens 時已接近最優性能，而 DIN-SQL/GPT4 需 10,000 tokens，體現更高性價比。

六、論文動機和創新點

問題	創新解決方案
LLM 缺乏邏輯運算符組合知識	四級自動機建模邏輯結構，通過示例檢索傳遞組合模式
輸入長度限制與泛化需求	骨架預測 + 分層抽象（從細節到子句級），壓縮知識表示
示例選擇與任務邏輯不匹配	基于骨架和自動機狀態的示例檢索策略，而非單純語義 / 語法相似度
生成 SQL 與具體數據庫不兼容	數據庫適配模塊修復幻覺錯誤，結合執行一致性策略