摘要

本教程展示了如何在 ONNX Runtime 中注冊一個 CPU 可執行的 FlashAttention 算子。首先，可以直接升級到 ONNX Runtime v1.16 及以上，以獲得內置的 FlashAttention CPU 實現citeturn0search2；其次，演示了如何通過 ONNX Runtime 的 Custom Op 接口自定義實現并注冊 FlashAttention 算子至 CPU Execution Providerciteturn0search0turn1search2。我們將提供 C++ 端的 Kernel 與 CustomOp 類示例、CMake 編譯說明，以及 Python 端加載與調用示例，滿足自定義部署需求。在不修改原始模型結構的前提下，您即可使用高性能的 FlashAttention 算法加速 Transformer 模型推理。

---

一、前提條件

• ONNX Runtime ≥ 1.16：從 v1.16 開始，CPU Execution Provider 原生支持 FlashAttention 算子，無需額外注冊即可使用citeturn0search2。
• C++ 編譯環境：包括 GCC/Clang、CMake，以及 FlashAttention CPU 庫（如 fl