一、學習目標
特別說明：這一章節是2025年3月官方重點更新的部分，幾乎對內容重新翻新改造了一遍，重點突出了對于如何結合不同的阿里云產品來部署大模型進行了更加詳細的介紹和對比，這里整理給大家，方便大家參考。
在備考阿里云大模型高級工程師ACP認證的過程中，學習《2.8 部署模型》這部分內容時，我的目標非常明確：不僅要深入理解模型部署的概念和意義，還要掌握多種模型部署的方式及其操作步驟，并且能夠依據不同的應用場景和自身需求，精準選擇最合適的部署方式。具體如下：
- 了解手動部署模型的流程：清楚從下載模型、編寫加載代碼到發布為支持API訪問的應用服務的整個過程，熟悉其中涉及的技術和工具。
- 熟悉云上部署模型的常見方式：掌握如大模型服務平臺百煉、函數計算FC、人工智能平臺PAI-EAS、GPU云服務器、容器服務ACK、容器計算服務ACS等云服務部署模型的方法和特點。
- 學會根據需求選擇部署方式：綜合考慮業務規模、成本預算、性能要求、運維能力等因素，在不同的部署方式中做出最優選擇。
二、知識點匯總
| 知識點 | 知識內容 | 重要性 | 學習難易度 |
|---|---|---|---|
| 模型部署的概念 | 模型部署指將訓練好的AI模型從開發環境轉移到生產環境，使其能處理實時數據并為實際應用提供服務。 它是連接模型開發與實際應用的關鍵環節，讓模型真正發揮價值 | 高 | 中 |
| 直接調用模型（無需部署） | 1. 調用方式：可直接調用阿里云預置模型的API 。 2. 優勢：無需部署、按需計費、無需運維；適合業務初期或中小規模場景 。 3. 局限：存在限流問題，且無法滿足模型微調或服務提供商不支持的情況 | 高 | 低 |
| 在測試環境中部署模型 | 1. 環境準備： ?① 確保GPU環境，下載模型、安裝依賴項。 2. 部署微調模型（可選）。 3. 測試服務運行狀態：通過cURL發送HTTP請求測試。 4. 評估服務性能：使用wrk工具壓測，了解服務在不同負載下的表現 | 高 | 高 |
| 在云上部署模型的優勢 | 1. 靈活部署：相比購買服務器部署，云服務提供更多靈活部署方式。 2. 性能優勢：可獲得可擴展、高并發、低延遲的服務。 3. 管理便捷：具備靈活管理能力，服務穩定性高 | 高 | 中 |
| 大模型服務平臺百煉部署模型 | 1. 部署方式：可通過控制臺或API部署預置模型或自定義模型。 2. 應用生態：部署后可集成百煉生態。 3. 局限：支持的模型種類有限 | 中 | 低 |
| 函數計算FC部署模型 | 1. 服務特性：提供Serverless GPU服務，無需運維底層資源，按需付費，適合計算資源要求高的臨時任務。 2. 存在問題：存在冷啟動延遲，且調試難度增加 | 中 | 中 |
| PAI-EAS部署模型 | 1. 部署方式：可將開源或自定義模型部署為在線服務，提供彈性擴縮容等功能，支持鏡像部署和Processor部署兩種方式。 2. 特殊功能：有模型預熱功能。 3. 成本：固定成本較高 | 中 | 高 |
| 云服務器ECS或容器服務部署模型 | ECS部署： ?1. 優勢：可完全控制服務器配置，提供穩定計算資源，結合彈性伸縮和負載均衡可實現高可用性和負載均衡。 ?2. 不足：維護成本高。 容器服務（ACK、ACS）部署： ?1. 適用對象：適用于有容器部署經驗的組織。 ?2. 資源獲取：可獲取GPU算力容器 | 高 | 高 |
三、拉重點
1. 不同“在云上部署模型”的對比
- 大模型服務平臺百煉
- 部署步驟：登錄阿里云百煉平臺控制臺，在模型管理頁面選擇預置模型或上傳自定義模型；配置模型相關參數，如輸入輸出格式、資源規格等；通過控制臺操作一鍵發布模型，生成可調用的API 接口；完成后可在應用管理中集成百煉生態內的其他服務，快速實現模型的應用落地。
- 注意事項：需提前確認百煉平臺是否支持所需部署的模型類型；自定義模型上傳時，要嚴格按照平臺規定的格式和要求準備模型文件及相關數據。
- 優點：部署流程簡單直觀，對技術要求較低，新手容易上手；可無縫集成百煉生態內的各類工具和服務，便于快速構建應用；無需過多關注底層基礎設施，降低運維成本。
- 缺點：支持的模型種類有限，無法滿足所有個性化模型的部署需求；在資源配置和性能優化方面的靈活性相對較弱，難以滿足復雜業務場景下的深度定制需求。
- 函數計算FC
