隨著AI模型逐漸成為企業運營的核心支柱，實時推理已成為推動這一轉型的關鍵引擎。市場對即時、可決策的AI洞察需求激增，而AI代理——正迅速成為推理技術的前沿——即將迎來爆發式普及。德勤預測，到2027年，超半數采用生成式AI的企業將部署自主代理，標志著行業臨界點的到來。為應對這一趨勢，企業正在尋找跨多服務器、數據中心或地域部署AI模型的可擴展高效方案，并將目光投向云端分布式AI部署。

?
在先前博客《分布式AI推理——下一代計算范式》中，我闡述了分布式AI推理的基礎知識，以及如何借助Akamai Cloud獨特的高性能平臺以極低成本實現業務擴展。本文將繼續探討分布式AI推理的相關概念，重點介紹如何通過分布式云架構部署、編排和擴展AI，并分析此類模型面臨的挑戰。

部署架構

若您認為全球范圍部署AI模型頗具復雜性，這一判斷完全正確。所幸現有大量工具和技術可支持AI從訓練到部署、優化及管理的全生命周期。選擇合適的解決方案組合需謹慎考量。Akamai Cloud與多家領先技術廠商合作，提供AI推理的基礎組件與繁榮生態。我們正構建面向當下、前瞻未來的AI推理云，通過就近用戶部署算力、數據存儲及管理解決方案，以及連接分布式站點模型的軟件，為您的業務保駕護航。

Akamai Cloud的AI推理整合了多項強大技術，并依托合作伙伴構建高性能生態，包括：

• 模型服務——采用NVIDIA Dynamo（原Triton）和KServe等推理引擎，為應用提供無縫AI模型訪問
• MLOps與編排——通過Kubeflow、NVIDIA Rapids和KubeSlice等工具支持數據管道、模型生命周期管理及性能監控
• 模型優化——運用NVIDIA TAO工具包和Kubeflow實現微調、剪枝、量化等優化技術
• 數據管理——與VAST Data、NVIDIA Rapids和Milvus等數據平臺深度集成，為AI工作負載提供存儲、處理、傳輸及治理能力
• 邊緣計算——依托Akamai全球邊緣網絡，聯合Fermyon和Avesha等伙伴提供輕量算力，顯著降低延遲
• AI網關——為開發者與AI代理提供統一端點，優化安全性、性能與韌性，所有這一切都構建在Akamai Cloud的核心基礎設施之上，為分布式云環境中的AI模型提供算力、存儲、網絡、容器化及企業級安全保障。

需特別強調的是模型優化這一關鍵過程。當計算資源受限時，通過剪枝（移除冗余參數）和量化（降低精度同時保持推理準確性）等技術，可使模型更適應邊緣計算場景。這有助于確保像AI代理這樣的自主系統，即使在計算資源受限的情況下，也能提供快速的決策和響應輸出。對于需要快速環境分析和迭代規劃的代理工作負載，您的AI工程師可能還會考慮采用像模型分片、動態請求匹配和分割模型并行執行多步驟推理等高級技術，從而進一步優化延遲和價格表現，提升分布式部署的效果。這些優化可帶來：

• 模型體積最高縮減80%，顯著降低部署負擔
• 減少計算成本與能耗，提升運行效率
• 大幅提高推理速度，尤其利于延遲敏感型應用

通過這些方法提高模型效率和性能，并將模型部署在靠近用戶和數據的分布式架構上，能夠減少部署企業級AI應用的成本和延遲障礙。

彈性擴展

擴展能力對AI推理的成功至關重要，特別是當您開發的模型真正引發大眾興趣時。這意味著既要為流量高峰做好準備，又要持續保持性能以滿足用戶期望。縱向擴展（scale up）與橫向擴展（scale out）都不可或缺。雖然在集中式數據中心增加算力是可行方案，但當業務發展到特定階段，采用分布式推理模型進行水平擴展將顯現出更優的性價比與能效比——對于以下延遲敏感型應用場景尤為如此：

• 需亞秒級響應的語音助手
• 基于IoT傳感器數據的自動駕駛設備
• 需跨地域實時決策的代理型AI應用

這需要對AI應用進行精心的模塊化設計并確保其可移植性。在Akamai Cloud平臺通過Kubernetes編排引擎及其生態系統，以及簡化可擴展應用部署的一站式平臺來實現這一目標。模塊化設計與可移植特性不僅能擴展AI應用本身，更能同步擴展其配套運維體系。作為云原生計算的事實標準，Kubernetes讓應用移植變得前所未有的便捷。

通過采用開放的、無廠商鎖定的技術范式來提升跨混合云和多云環境的可移植性，無論模型實例部署在何處，您獲取最佳計算資源組合的成功率都將大幅提升。我們選擇以"Kubernetes容器化AI"作為擴展解決方案的基石，正是基于這一戰略考量。

提升模型相關性

如同人類需要終身學習一樣，AI模型也需要通過更新數據集來優化模型權重，從反饋中持續學習，并根據環境變化調整上下文理解。在分布式模型中，新數據的持續訓練會變得尤為復雜——因為跨多個節點或地域協調和同步更新，會帶來保持模型一致性的挑戰。

這需要從AI應用/模型的分布式實例部署位置收集數據，借助對象存儲和向量數據庫解決方案實現檢索增強生成（RAG），并通過機制將這些數據傳回中心模型進行再訓練或微調。Akamai Cloud的AI推理建立在強大的基礎數據管理能力之上，通過與領先的數據編織平臺提供商建立關鍵合作伙伴關系，確保模型能夠基于當前事件收集性能數據、領域數據和更新數據，為模型提供豐富、相關且實時的上下文，從而生成更準確的輸出，同時降低幻覺風險。此外，這些數據還能反饋至中心模型，通過調整模型權重來提升全局模型推理的相關性。

Akamai Cloud能幫助您應對企業級AI部署的幾大固有挑戰：

• 成本效益 —— 雖然通過就近用戶部署推理（參見電子書）通常是選擇分布式AI推理模型的成本動因，但進一步選擇在可承受價格下提供可接受性能的計算選項還能實現額外成本優化。Akamai通過提供性能與成本均衡的GPU方案，以及支持在商用CPU上實施模型優化技術，正在幫助解決這一成本難題。
• 能耗與可持續性 —— AI推理工作負載可能消耗巨大電力，數據中心和AI加速器運行模型時會產生大量能耗。這不僅加劇全球碳排放，也擴大組織的碳足跡。隨著AI應用規模擴大，推理的能耗需求將超過訓練階段，帶來更多可持續性挑戰。分布式AI推理通過以下策略支持減排：借助本地化推理減少數據傳輸、通過選擇性使用AI加速器優化低功耗處理模型、動態擴展AI應用規模，以及利用綠色能源數據中心。
• 聯邦學習 —— 這涉及前文提到的挑戰：管理分散在分布式云環境中不同AI模型實例的學習速率和進化過程。關鍵是要采用能保持各模型版本與中心學習監管同步的方法，包括先在本地重新校準模型權重，再通過聯邦學習機制跨所有模型實例實現同步。
• 模型安全防護 —— 保護AI模型免受網絡攻擊（包括新型威脅、數據泄露、合規風險及對抗攻擊）對企業級AI應用至關重要，可避免模型準確性或安全性受損，乃至服務完全中斷。必須通過實時原生AI威脅檢測、策略執行和自適應安全措施，同時保護入站AI查詢和出站AI響應，防御提示詞注入、敏感數據泄露、對抗性攻擊及針對AI的DoS攻擊。模型安全對企業至關重要，雖然這不屬于本文討論范圍，但您可以通過此處了解Akamai的AI防火墻方案。

塑造AI未來

在Akamai，我們堅信分布式AI推理是構建可擴展、高性能AI應用的基石。Akamai Cloud的基礎架構專為企業級AI應用部署而設計，既能簡化實施流程，又能以業務所需的響應速度和可靠性，隨時隨地為您提供可立即支持決策的智能洞察。通過攜手領先技術廠商將一流軟件集成至我們的AI推理技術棧，Akamai Cloud旨在解決AI規模化挑戰，提供實時執行環境，使AI代理能夠高效編排任務、優化工作流，并實現大規模自主決策。

采用正確的優化策略對AI應用進行調優，是實現性能、成本與可持續性平衡的關鍵，同時確保輸出高保真度的推理結果。持續評估和改進模型的反饋循環，需要以周密規劃的數據戰略作為基礎，這是保持AI應用與時俱進且準確可靠的核心支撐。

我們為客戶當前在Akamai Cloud上構建的各類AI應用感到振奮，更期待見證您即將創造的未來。
想深入了解AI推理性能基準測試？歡迎閱讀我們的白皮書解鎖更多信息。