來自 Meta 的 Llama 2 基礎模型現已在 Amazon SageMaker JumpStart 中提供。我們可以通過使用 Amazon SageMaker JumpStart 快速部署 Llama 2 模型，并且結合開源 UI 工具 Gradio 打造專屬 LLM 應用。
Llama 2 簡介
Llama 2 是使用優化的 Transformer 架構的自回歸語言模型, ?旨在用于英文領域的商業和研究用途，其 context 長度是 Llama 1 代的兩倍。目前提供三種參數規格（7B、13B 和 70B）的基礎模型。
（來源：https://ai.meta.com/llama/）
使用 SageMaker JumpStart?
簡化大模型的部署
一站式開發平臺 Amazon SageMaker，是一個機器學習（ML）中心，提供預訓練模型、內置算法和預構建解決方案，能幫助您快速開始使用機器學習。在 SageMaker JumpStart 中提供了 6 個版本的 Llama-2 模型。
如果在您的 JumpStart 中沒有看到相關的模型，請確認您使用的區域是否已支持 Llama 2 （在 JumpStart 模型頁面查詢支持的區域）以及是否是最新版本的 Studio（可以通過關閉重啟來更新您的 SageMaker Studio 版本）。
下圖是在 SageMaker 中 Llama 2 的 6 個模型分別對應的 ID ，默認實例類型，以及每個模型支持的最大 token 數，通過 model_id 我們可以便捷地在 SageMaker Notebook 中啟動對應的模型。
方案概述
我們將在 SageMaker 上部署 Llama-2-7b-chat 模型, 并使 Gradio 構建前端頁面，打造一個輕量化的聊天助手。
1. 部署模型
在 SageMaker 中可以使用 JumpStart 或者 Notebook 來部署推理節點，這兩種方式我們都會展示。
1.1?SageMaker JumpStart 一鍵部署
在 SageMaker Studio 中您可以搜索到對應的模型， 點擊就可以進入對應的模型頁面。在這里我們使用了 Llama-2-7b-chat 的模型。
點擊 Deploy 即可以部署相關模型，部署時間大約 15 分鐘 – 20 分鐘左右，另外可以通過 Deployment Configuration 修改對應部署的實例類型。
在部署完成后，您可以看到對應的推理節點信息。
1.2?使用 SageMaker Notebook 部署
如何您使用了 JumpStart 部署則不需要通過 SageMaker Notebook 部署，直接跳到 2。
（1）設置模型 ID ，在這里我們選擇了 7b 規格的 chat 模型
（2）部署指定的模型（meta-textgeneration-llama-2-7b-f）
大約在 15 – 20 分鐘左右您可以部署完成，完成后在 Amazon Website Service 控制臺 SageMaker 頁面中的“終端節點”標簽下，可以看到目前已經被啟動的推理節點。
2. 設置模型的參數
3. 啟動 Gradio 與部署完的模型進行交互
在執行完以后 Gradio 提供了本地的 url 和在 Gradio 上托管的 url 供您使用。
注意，您需要進行設置 custom_attributes=”accept_eula=true”才能成功調用推理端點。這樣做是確認接受 Llama 2 的用戶許可協議和使用政策。
完整的代碼可以參考鏈接：
https://github.com/tsaol/llama2-on-aws.git。
4. 測試
打開 Gradio 提供的鏈接，我們會看到一個聊天頁面，可以嘗試向 Llama 2 問些問題。
5. 清理和刪除環境
總結
本文介紹了如何使用 SageMaker JumpStart 以及 Notebook 部署 Llama 2 模型，結合 Gradio 輕松構建生成式 AI 應用。基于托管服務的特性讓您無需擔心底層基礎設施的搭建與運維，同時擁有良好的開源項目體驗。您還可以基于現有的方案進一步改造，打造專屬的大模型應用。
參考資料
https://aws.amazon.com/cn/about-aws/whats-new/2023/07/llama-2-foundation-models-meta-amazon-sagemaker-jumpstart/
https://dev.amazoncloud.cn/column/article/64bf831469c6a22f966a19f4
https://aws.amazon.com/cn/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/
https://arxiv.org/pdf/2307.09288.pdf
https://www.gradio.app/guides
https://ai.meta.com/llama/
本篇作者
曹鎦
亞馬遜云科技解決方案架構師，負責企業信息化方案的咨詢和架構設計。超過 10 年的研發經驗，曾在大型國企和互聯網獨角獸任職，并主導百億級平臺的技術架構和數據架構的設計與落地。專注數智融合以及生成式 AI 方向，賦能企業創新成長。
聽說，點完下面4個按鈕
就不會碰到bug了！
