【AWS入門】Amazon SageMaker簡介
[AWS Essentials] Brief Introduction to Amazon SageMaker
By Jackson@ML
機器學習(Machine Learning,簡稱ML) 是當代流行的計算機科學分支技術。通常,人們在本地部署搭建環境,以滿足機器學習的要求。
AWS是Amazon Web Service,即亞馬遜云科技,其提供給用戶超過200種云產品和服務。用戶無需搭建硬件環境,就可以實現科學計算、數據分析、項目開發和運維、大數據、無服務器應用開發、人工智能等一系列技術創新和迭代。
訪問AWS官網,可以看到Amazon SageMaker主頁面。
圖1 Amazon SageMaker主頁面
AWS提供了機器學習的專有產品和服務,就是 Amazon SageMaker,利用業界先進的AI技術,在云平臺上應用和完成機器學習。
1. 什么是Amazon SageMaker?
Amazon SageMaker AI 是一項云托管服務,它對機器學習 (ML) 服務完全托管。借助 SageMaker AI,廣大用戶包括數據科學家、人工智能專家、軟件開發者,均可以快速、便捷地構建和訓練 ML 模型,并將其快速部署到生產環境中。
Amazon SageMaker AI為運行 ML 工作流提供了用戶界面體驗,使 SageMaker AI ML 工具可在多個集成開發環境 (IDE) 中使用。
有了 SageMaker AI,用戶就可以存儲和共享數據,而無需構建和管理自己的服務器。這樣,企業或用戶就有更多時間來協作構建和開發特定功能的 ML 工作流程,并且可以高效完成工作。
SageMaker AI提供受控的ML算法,可在分布式環境中針對超大數據量運算高效運行。SageMaker AI 內置支持自帶算法和框架,提供靈活的分布式訓練選項,可根據用戶需要的特定工作流程進行調整。用快捷的步驟,就能從 SageMaker AI 控制臺將模型部署到安全、可擴展的環境中。
2. Amazon SageMaker主要功能
1) Amazon SageMaker新版發布
2024 年 12 月 03 日,AWS亞馬遜云科技發布了新一代 Amazon SageMaker。
Amazon SageMaker 是數據、分析和人工智能的統一平臺。新一代 SageMaker 集合了 AWS 機器學習和分析功能,為分析和人工智能提供了集成體驗,可統一訪問您的所有數據。
2) Amazon SageMaker 包括以下功能:
- Amazon SageMaker AI(前身為 Amazon SageMaker)- 利用完全托管的基礎架構、工具和工作流,構建、訓練和部署 ML 和基礎模型;
- Amazon SageMaker Lakehouse - 跨 Amazon S3 數據湖、Amazon Redshift 和其它數據源統一數據訪問;
- Amazon SageMaker 數據和 AI 治理 - 利用基于 Amazon DataZone 構建的 Amazon SageMaker Catalog 安全地發現、治理和協作數據和 AI;
- SQL 分析 – 結構化查詢語言(Structured Query Language)即SQL,是關系型數據庫必不可少的語言。 借助 Amazon Redshift 最具性價比的 SQL 引擎獲得洞察力;
- Amazon SageMaker 數據處理 - 使用 Amazon Athena、Amazon EMR 和 AWS Glue 上的開源框架分析、準備和集成數據,以進行分析和人工智能;
- Amazon SageMaker Unified Studio - 在單一開發環境中使用所有數據和工具進行構建,以進行分析和人工智能;
- Amazon Bedrock - 構建和擴展生成式 AI 應用程序
- 通過DeepL.com(免費版)翻譯
3. 安裝Amazon SageMaker
要使用 Amazon SageMaker AI 中的功能,首先必須有訪問 Amazon SageMaker AI 的權限。
通過設置 Amazon SageMaker AI 及其功能,有以下安裝選項:
- 快速安裝: 使用默認設置,為個人用戶進行快捷安裝配置。
- 自定義安裝: 面向企業機器學習 (ML) 管理員,這些高級配置對于那些為多用戶或組織設置 SageMaker AI 的 ML 管理員來說,顯示是個理想的選項。
4. 訪問AWS門戶和身份驗證
AWS通過網絡門戶,對所有AWS賬戶分配對應用程序的單點登錄訪問,通過AWS的 IAM 身份驗證和訪問。
關于具體如何登錄 AWS 訪問門戶、登錄提示以及如何退出 AWS 訪問門戶,作為 IAM Identity Center 用戶,可登錄 AWS 訪問門戶,詳細步驟請參閱《AWS 登錄指南》中的相關章節,進一步了解如何登錄 AWS 訪問門戶。
圖2 在AWS登錄IAM控制臺
5. Amazon SageMaker AI域
Amazon SageMaker AI 使用域(domain)來組織用戶配置文件、應用程序及其相關資源。
Amazon SageMaker AI 域由以下部分組成:
- 相關的亞馬遜彈性文件系統(亞馬遜 EFS)卷
- 授權用戶列表
- 各種安全、應用程序、策略和 Amazon 虛擬私有云 (Amazon VPC) 配置
每個域中都有私有應用程序和共享空間,如下圖所示:
要訪問大多數 Amazon SageMaker AI 環境和資源,用戶必須使用 SageMaker AI 控制臺或 AWS CLI 完成 Amazon SageMaker AI 域入門流程。
有關如何根據訪問 SageMaker AI 的方式開始使用 SageMaker AI,以及必要時如何設置域的指南,請參閱 Amazon SageMaker AI 設置指南。
6. Amazon SageMaker的優勢
1) 融通式合作開發工作室
Amazon SageMaker 融通式合作開發工作室提供集成式體驗,讓用戶可以使用適用于分析和人工智能的所有數據和工具。
通過發現數據,并使用熟悉的 AWS 工具(適用于模型開發、生成式人工智能、數據處理和 SQL 分析)將數據用于實處。
使用統一的筆記本電腦處理計算資源,使用內置的 SQL 編輯器發現和查詢不同的數據來源,大規模訓練和部署人工智能模型,快速構建自定義的生成式人工智能應用程序。創建并安全共享分析和人工智能構件,例如數據、模型和生成式人工智能應用程序,以更快地將數據產品推向市場。
2) 整套安全的人工智能開發功能
借助一整套設計安全的人工智能開發功能,推進 SageMaker 中的人工智能發展。在高性能且經濟高效的基礎設施上訓練、自定義和部署機器學習和基礎模型(Fundation Model, 即FM)。
使用可滿足整個人工智能生命周期需求的專用工具,覆蓋高性能集成式開發環境(IDE)和分布式訓練到推理、人工智能運維、治理和可觀測性等領域。
使用尖端模型和專用數據,快速創建為業務量身定制的生成式人工智能應用程序。使用 Amazon Q Developer加快人工智能開發,幫助用戶更加容易、輕松地發現數據、構建和訓練機器學習模型、生成 SQL 查詢以及創建和運行數據管道任務,所有這些都可通過自然語言完成。
3) 統一數據,減少數據孤島
使用Amazon SageMaker數據湖倉,統一用戶在 Amazon Simple Storage Service(Amazon S3)數據湖和 Amazon Redshift 數據倉庫中的所有數據。
使用所有與 Apache Iceberg 兼容的工具和引擎,在分析數據的單個副本上靈活地訪問和查詢數據。
通過定義應用于湖倉中的分析和人工智能工具的精細權限來保護數據。通過零 ETL 集成,將運營數據庫和應用程序中的數據近實時地導入湖倉。
此外,通過跨第三方數據來源的聯合查詢功能訪問和查詢數據。
4) 端對端數據和人工智能治理
通過貫穿整個數據和人工智能生命周期的內置治理,確保企業安全。Amazon SageMaker 確保用戶能夠控制正確的用戶,用以出于正當理由訪問正確的數據、模型和開發構建。
通過 Amazon SageMaker Catalog 的精細訪問控制,使用單一權限模型一致地定義和強制執行訪問策略。使用數據分類、毒性檢測、防護機制和負責任的人工智能政策,以保護您的人工智能模型安全。
通過數據質量監控和自動化、敏感數據檢測以及數據和機器學習任務流水線,讓整個組織安心無憂。
關于Amazon SageMaker應用及開發,還有很多。
- 鳴謝:AWS亞馬遜云科技
AWS技術好文陸續推出,敬請關注、收藏和點贊👍。
您的認可,我的動力!😃
相關閱讀:
- 【AWS入門】Amazon Bedrock簡介
- 【AWS入門】Amazon Q Developer簡介
- 【AWS入門】AWS Lambda應用簡介
- 【AWS入門】Amazon Nova簡介
- 【AWS入門】Amazon S3簡介
- 【AWS入門】Amazon EC2簡介
- 【AWS入門】Amazon云計算簡介
- 【AWS入門】創建并使用AWS Builder ID
- 【AWS入門】AWS亞馬遜云科技賬戶注冊指南
- 2025最新版Python 3.13.3安裝使用指南