導 讀

近日，KaiwuDB 與中國人民大學合作的論文 FOSS: A Self-Learned Doctor for Query Optimizer 被數據庫領域頂會The 40th IEEE International Conference on Data Engineering (ICDE 2024) 錄用啦!

論文中提出了具備自學習、自診斷能力的查詢優化器 FOSS，推動了基于 AI 算法的學習型查詢優化技術創新發展。KaiwuDB 高級研發工程師、人大信息學院博士孫路明為共同作者。

近年來，數據庫研究人員提出了多個基于 AI 算法的學習型查詢優化器，比如：

• 自下而上的方式從頭學習構建查詢計劃；
• 通過提示（Hint）引導或者限制傳統優化器的執行計劃生成過程；
• … …

雖然上述方法取得了一定成功，但它們卻面臨訓練效率低下、計劃搜索空間有限等方面的挑戰 ?

而本篇論文提出的 FOSS —— 基于深度強化學習的查詢優化新框架，與引導傳統優化器行為的黑盒方法不同，FOSS 是一個白盒方法，通過優化傳統查詢優化器生成的計劃，更好地利用專家優化知識。其行為類似一個診療查詢計劃的醫生，它從傳統優化器生成的原始計劃開始優化，發現其中的性能問題，通過系列優化動作逐步改進計劃中的次優節點。

此外， FOSS 還采用了不對稱的收益模型來評估兩個計劃之間的性能差異。為了提高 FOSS 的訓練效率，我們將 FOSS 與傳統優化器集成以形成一個模擬環境。利用該模擬環境，FOSS 可以自動快速生成大量高質量的模擬經驗，然后從這些經驗中學習以提高其優化能力。

論文在 Join Order Benchmark, TPC-DS 和 Stack Overflow 等多組數據集和負載上評估了 FOSS 的性能。實驗結果表明：FOSS 在模型收斂速度、查詢優化效果上優于現有學習型查詢優化器，與 PostgreSQL 默認查詢優化器相比，更是獲得了最高 8.33 倍的加速效果🚀

通過引入該技術，數據庫查詢性能、響應時間及用戶體驗或將有效提升，適用于 OLAP、HTAP 等數據密集型場景的查詢需求。
未來，KaiwuDB 也將始終堅持以先進技術打磨產品，加速學術研究與產業應用融合，為中國數據庫技術創新發展、數據處理效能提升等方面貢獻新思路，為政企客戶伙伴提供高性能、高可用、易運維的數據服務，助力產業數字化升級與應用創新。