2024 年，我們見證了人工智能創新的空前爆發。AI 的快速發展令很多人驚嘆，為了訓練更先進的大語言模型（LLM），科技巨頭爭相獲取強大的 GPU。如今，AI 正在無縫融入我們世界的每個角落。

在眾多新興 AI 公司、模型和應用的浪潮中，有個趨勢愈發清晰：AI 的重點正在從訓練轉向推理。彭博社預測，到 2032 年，AI 推理市場規模將增至 1.3 萬億美元，這一觀點也得到了很多最新報告的支持。市場的這一變化表明，2025 年將成為加速分布式 AI 推理發展的關鍵一年。

“持續改進” 和 “不斷適應” 的往復循環

盡管在打造強大 AI 模型的過程中，訓練工作仍將發揮關鍵作用，但未來的重點將會是推理：即部署這些模型，進而為企業和消費者提供實時、可行的見解和結果。同時，通過從邊緣設備將動態數據回饋至訓練過程，推動模型持續改進與適應，形成一個不斷優化的循環。

AI 推理的應用方式

AI 推理是人工智能從 “畫在紙上的餅” 轉變為實際應用并產生現實影響的關鍵環節。Akamai 的客戶正在多個行業和應用場景中利用 AI 推理，包括：

• 智慧城市：?優化交通流量以減少擁堵并提升安全性，通過智能監控改善公共安全。
• 自動駕駛車輛：?實現瞬時決策，促進高效的車隊編排。
• 工業物聯網與制造業：?實施預測性維護以防止停機，通過實時視頻分析提升質量控制。
• 智能零售：?提供個性化購物體驗，并通過智能結賬和庫存管理優化運營。
• 醫療與遠程醫療：?實時監測患者健康狀況，通過圖像處理加速醫學診斷，支持先進的可穿戴設備。
• 媒體娛樂：?定制個性化內容，實現實時視頻轉碼和直播增強。

這些示例只是客戶借助 AI 推理所能實現的廣泛應用的冰山一角。隨著邊緣計算不斷發展，預計將在各個行業看到更多創新性的應用。

AI 推理的常見挑戰

這種創新也帶來了一些常見挑戰，包括延遲、成本和可擴展性。多年來，Akamai 始終致力于解決這些問題。

將大量通用且性能過剩的 GPU 集中在數據中心的方式，已無法滿足大眾對高效 AI 推理的規模化和響應速度的需求。我們需要采用全新范式，使推理架構更貼近用戶，也就是要通過分布式云模型來實現。

通過分布式云模型實現 AI 推理

在采用分布式云模型提供 AI 推理時，需要考慮一些獨特因素，包括：

• 延遲與響應速度：在集中式云數據中心之間傳輸數據會影響用戶體驗，并可能導致業務機會流失。去中心化的分布式架構則可提升推理響應速度。
• 資源約束：邊緣設備在功耗、存儲和計算能力方面存在限制。因此無比要通過部署輕量化、更高效的 AI 模型來實現強大的性能。
• 安全與數據隱私：本地數據處理可減少數據在傳輸過程中的暴露，從而增強安全性。這對醫療、金融和政府等需遵守嚴格數據本地化和隱私法規的行業尤為重要。
• 可擴展性與分布式架構：隨著托管 AI 應用的分布式位置數量增加，跨網絡管理和更新 AI 模型的復雜性也隨之上升。因此，必須要能提供可擴展的模型部署和維護解決方案。
• 帶寬與成本效益：去中心化 AI 推理可大幅減少傳輸至集中式云服務器的數據量，不僅能緩解網絡擁堵，還能顯著降低數據傳輸和存儲成本。

這些因素是在分布式、去中心化云基礎設施上部署 AI 時的關鍵考量，所有希望高效利用 AI 的企業都應重點關注。

Akamai 強大生態系統帶來卓越的性能和可擴展性

Akamai 致力于構建全球分布的云。我們的全球基礎設施經過近 30 年發展，已容納超過 25 個核心計算區域、快速擴展的分布式計算位置，以及超過 4000 個邊緣節點。這一強大生態系統已經為滿足企業在當前和未來 AI 推理需求做好了準備。

我們意識到，盡管客戶對高性能有很高需求，但他們也越來越擔心傳統云服務商常見的高額成本超支。Akamai 云旨在解決這一日益增長的問題。

我們并沒有沿襲傳統做法囤積昂貴的通用 GPU，這些 GPU 對 AI 推理任務來說往往過于強大。相反，我們為客戶提供了一種平衡的 GPU 替代方案：Nvidia RTX 4000 Ada 系列 GPU。這些 GPU 兼具性能和成本效益，非常適合 AI 推理、運行小型語言模型以及處理像媒體轉碼這樣的專用工作負載。

強大但不失成本效益的方法

這種方法使我們能將卓越的 AI 能力更貼近用戶，同時保持對客戶的成本效益。我們的測試顯示，在運行生成式 AI 類 Stable Diffusion 模型時，與傳統公有云服務商提供的同類 GPU 替代方案相比，我們的成本節省幅度超過了 80%。

相信這種方法能帶來最強大且兼具成本效益的結果，并能夠推動新的 AI 應用場景繼續發展。

分布式推理是使用 AI 的全新構想

隨著 AI 的實用性不斷提升，Akamai 認為：分布式推理不僅僅是技術的進步，更是對 AI 使用方式的根本性重新構想。從集中的資源密集型計算轉向更高效的分布式邊緣計算，這一轉變已經在不知不覺中開始了。

Akamai 不僅在觀察這一變革，也在積極塑造這場變革。通過將遍布全球的分布式網絡、戰略性的云計算投資（包括圍繞推理工作進行優化的 GPU）以及對性能和成本效益的深刻理解等因素緊密結合在一起，Akamai 正專注于幫助企業釋放 AI 推理的真正潛力。

很多企業也已經意識到，對于采用 AI 推理這件事，真正的問題已經不再是 “是否”，而是 “如何”。邊緣不再僅僅是數據的目的地，而是正成為 AI 提供最具影響力、實時見解的主要領域。歡迎進入計算的下一世代。