DeepSeek-R1 模型現已在亞馬遜云科技上推出

在這里插入圖片描述

亞馬遜云科技提供眾多免費云產品,可以訪問:亞馬遜云科技

在剛剛過去的 Amazon re:Invent 期間,Amazon 首席執行官 Andy Jassy 分享了從 Amazon 自己在全公司開發近 1000 個生成式 AI 應用程序的經驗中汲取的寶貴經驗。從這種廣泛的 AI 部署中,Jassy 提供了三個關鍵觀察結果,這些觀察結果塑造了 Amazon 的企業 AI 實施方法。

首先,隨著您開始擴展生成式 AI 應用程序,計算成本真的很重要。人們非常渴望更好的性價比。第二個實際上很難構建一個真正好的生成式 AI 應用程序。第三個是當我們讓建造者自由選擇他們想要做的事情時,所使用的模型的多樣性。這并不讓我們感到驚訝,因為我們一遍又一遍地學習同樣的教訓,那就是永遠不會有一種工具可以統治世界。
在這里插入圖片描述

正如 Andy 所強調的那樣,Amazon 提供的廣泛而深入的模型使客戶能夠選擇最能滿足其獨特需求的精確功能。通過密切監控客戶需求和技術進步,亞馬遜云科技 會定期擴展我們精選的模型選擇,以包括有前途的新模型以及公認的行業熱門模型。這種高性能和差異化模型產品的持續擴展有助于客戶保持在 AI 創新的前沿。

這讓我們想到了中國的 AI 初創公司 DeepSeek。DeepSeek 于 2024 年 12 月推出了 DeepSeek-V3,隨后于 2025 年 1 月 20 日發布了 6710 億個參數的 DeepSeek-R1、DeepSeek-R1-Zero 和 1.5-700 億個參數的 DeepSeek-R1-Distill 模型。他們于 2025 年 1 月 27 日添加了基于視覺的 Janus-Pro-7B 模型。這些型號是公開可用的,據報道比同類型號便宜 90-95%。根據 Deepseek 的說法,他們的模型因其推理能力而脫穎而出,這是通過強化學習等創新訓練技術實現的。

現在,您現在可以在 Amazon BedrockAmazon SageMaker AI 中部署 DeepSeek-R1 模型。Amazon Bedrock 最適合尋求通過 API 快速集成預先訓練的基礎模型的團隊。Amazon SageMaker AI 非常適合需要高級自定義、培訓和部署并訪問底層基礎設施的組織。此外,您還可以使用 Amazon TrainiumAmazon Inferentia 通過 Amazon Elastic Compute Cloud (Amazon EC2) 或 Amazon SageMaker AI 經濟高效地部署 DeepSeek-R1-Distill 模型。

借助亞馬遜云科技,您可以使用 DeepSeek-R1 模型來構建、試驗和負責任地擴展您的生成式 AI 創意,方法是使用這種功能強大、經濟高效的模型,同時只需最少的基礎設施投資。您還可以通過在專為安全而設計的 亞馬遜云科技 服務上進行構建,自信地推動生成式 AI 創新。我們強烈建議您將 DeepSeek-R1 模型的部署與 Amazon Bedrock 護欄集成,為您的生成式 AI 應用程序增加一層保護,Amazon Bedrock 和 Amazon SageMaker AI 客戶都可以使用。

現在,您可以通過以下幾種方式選擇如何在 亞馬遜云科技 上部署 DeepSeek-R1 模型:1,用于 DeepSeek-R1 模型的 Amazon Bedrock Marketplace,2,用于 DeepSeek-R1 模型的 Amazon SageMaker JumpStart,3,用于 DeepSeek-R1-Distill 模型的 Amazon Bedrock 自定義模型導入,以及用于 DeepSeek-R1-Distill 模型的 4,Amazon EC2 Trn1 實例。

讓我向您介紹在 亞馬遜云科技 上開始使用 DeepSeek-R1 模型的各種路徑。無論您是構建第一個 AI 應用程序還是擴展現有解決方案,這些方法都可以根據您團隊的專業知識和要求提供靈活的起點。

亞馬遜云科技提供眾多免費云產品,可以訪問:亞馬遜云科技

  1. Amazon Bedrock Marketplace 中的 DeepSeek-R1 模型 Amazon Bedrock Marketplace 提供 100 多種流行的、新興的和專業的 FM,以及 Amazon Bedrock 中當前選擇的行業領先模型。

您可以輕松發現單個目錄中的模型,訂閱模型,然后在托管終端節點上部署模型。

要在 Amazon Bedrock Marketplace 中訪問 DeepSeek-R1 模型,請轉到 Amazon Bedrock 控制臺,然后在 Foundation models (基礎模型) 部分下選擇 Model catalog(模型目錄)。您可以通過按模型提供程序進行搜索或篩選來快速找到 DeepSeek。
在這里插入圖片描述

在查看包含模型功能和實施指南的模型詳細信息頁面后,您可以通過提供終端節點名稱、選擇實例數量和選擇實例類型來直接部署模型。

在這里插入圖片描述

您還可以配置高級選項,以便自定義 DeepSeek-R1 模型的安全性和基礎設施設置,包括 VPC 聯網、服務角色權限和加密設置。對于生產部署,您應該查看這些設置以符合您組織的安全性和合規性要求。

借助 Amazon Bedrock Guardrails,您可以獨立評估用戶輸入和模型輸出。您可以通過過濾生成式 AI 應用程序中的不需要和有害的內容,使用您定義的策略集來控制用戶與 DeepSeek-R1 之間的交互。Amazon Bedrock Marketplace 中的 DeepSeek-R1 模型只能與 Bedrock 的 ApplyGuardrail API 一起使用,以評估 Amazon Bedrock 外部可用的自定義和第三方 FM 的用戶輸入和模型響應。要了解更多信息,請閱讀使用 Amazon Bedrock Guardrails 實施獨立于模型的安全措施。

Amazon Bedrock Guardrails 還可以與其他 Bedrock 工具(包括 Amazon Bedrock 代理和 Amazon Bedrock 知識庫)集成,以構建更安全、更可靠的生成式 AI 應用程序,并符合負責任的 AI 策略。要了解更多信息,請訪問 亞馬遜云科技 負責任的 AI 頁面。

您可以使用 Bedrock Playground 來了解模型如何響應各種輸入,并讓您微調提示以獲得最佳結果。

在這里插入圖片描述

當將 DeepSeek-R1 模型與 Bedrock 的 playground 或 API 一起使用時,請使用 DeepSeek 的聊天模板以獲得最佳結果。例如。

<|begin_of_sentence|><User>content for inference<Assistant>

請參閱此分步指南,了解如何在 Amazon Bedrock Marketplace 中部署 DeepSeek-R1 模型。要了解更多信息,請訪問在 Amazon Bedrock Marketplace 中部署模型。

  1. Amazon SageMaker JumpStart 中的 DeepSeek-R1 模型Amazon SageMaker JumpStart 是一個機器學習 (ML) 中心,具有 FM、內置算法和預構建的 ML 解決方案,只需單擊幾下即可部署。

要在 SageMaker JumpStart 中部署 DeepSeek-R1,您可以在 SageMaker Unified Studio、SageMaker Studio、SageMaker AI 控制臺中或通過 SageMaker Python 開發工具包以編程方式發現 DeepSeek-R1 模型。

在 Amazon SageMaker AI 控制臺中,打開 SageMaker Studio,然后選擇 JumpStart,然后在 All public models(所有公有模型)頁面中搜索 “DeepSeek-R1”。

在這里插入圖片描述

您可以選擇模型,然后選擇 deploy (部署) 以創建具有默認設置的終端節點。當終端節點進入 InService 時,您可以通過向其終端節點發送請求來進行推理。
在這里插入圖片描述

您可以使用 Amazon SageMaker AI 功能(如 Amazon SageMaker Pipelines、Amazon SageMaker Debugger 或容器日志)獲得模型性能和 ML作控制。該模型部署在 亞馬遜云科技 安全環境中,并受您的 Virtual Private Cloud (VPC) 控制,有助于支持數據安全。

與 Bedrock Marketpalce 一樣,您可以使用 SageMaker JumpStart 中的 API 將生成式 AI 應用程序的保護措施與 DeepSeek-R1 模型分離。現在,您可以在不調用 FM 的情況下使用護欄,這為將標準化和經過全面測試的企業保護措施更多地集成到您的應用程序流中打開了大門,而不管使用何種模型。

請參閱此分步指南,了解如何在 Amazon SageMaker JumpStart 中部署 DeepSeek-R1 模型。要了解更多信息,請訪問在 SageMaker Unified Studio 中發現 SageMaker JumpStart 模型或在 SageMaker Studio 中部署 SageMaker JumpStart 模型。

  1. 使用 Amazon Bedrock 自定義模型導入的 DeepSeek-R1-Distill 模型Amazon Bedrock 自定義模型導入能夠通過單個無服務器統一 API 導入自定義模型以及現有 FM 并使用自定義模型,而無需管理底層基礎設施。

使用 Amazon Bedrock 自定義模型導入,您可以導入 1.5-700 億個參數的 DeepSeek-R1-Distill 模型。正如我在關于 Amazon Bedrock 模型蒸餾的博客文章中強調的那樣,蒸餾過程涉及訓練更小、更高效的模型,以模擬具有 6710 億個參數的大型 DeepSeek-R1 模型的行為和推理模式,將其用作教師模型。

將這些公開可用的模型存儲在 Amazon Simple Storage Service (Amazon S3) 存儲桶或 Amazon SageMaker Model Registry 中后,轉到 Amazon Bedrock 控制臺中基礎模型下的導入模型,然后通過 Amazon Bedrock 將它們導入并部署到完全托管的無服務器環境中。這種無服務器方法消除了對基礎設施管理的需求,同時提供了企業級的安全性和可擴展性。

在這里插入圖片描述

導入提煉模型后,您可以使用 Bedrock Playground 來了解輸入的提煉模型響應。

在這里插入圖片描述

請參閱此分步指南,了解如何使用 Amazon Bedrock 自定義模型導入部署 DeepSeek-R1-Distill 模型。要了解更多信息,請訪問將自定義模型導入 Amazon Bedrock。

  1. 使用 Amazon Trainium 和 Amazon Inferentia 的 DeepSeek-R1-Distill 模型Amazon Deep Learning AMI (DLAMI) 提供自定義的系統映像,您可以使用這些映像在各種 Amazon EC2 實例中進行深度學習,從小型純 CPU 實例到最新的高性能多 GPU 實例。

您可以在 Amazon Trainuim1 或 Amazon Inferentia2 實例上部署 DeepSeek-R1-Distill 模型,以獲得最佳性價比。

要開始使用,請轉到 Amazon EC2 控制臺,然后使用名為 Deep Learning AMI Neuron (Ubuntu 22.04) 的 Neuron 多框架 DLAMI 啟動一個 EC2 實例。

在這里插入圖片描述

連接到啟動的 ec2 實例后,安裝 vLLM,這是一個用于提供大型語言模型 (LLM) 的開源工具,并從 Hugging Face 下載 DeepSeek-R1-Distill 模型。您可以使用 vLLM 部署模型并調用模型服務器。

要了解更多信息,請參閱此分步指南,了解如何在 Amazon Inferentia 和 Trainium 上部署 DeepSeek-R1-Distill Llama 模型。

您還可以在 Hugging Face 上訪問 DeepSeek-R1-Distill 模型卡片,例如 DeepSeek-R1-Distill-Llama-8Bdeepseek-ai/DeepSeek-R1-Distill-Llama-70B。選擇 Deploy (部署),然后選擇 Amazon SageMaker。從 Amazon Inferentia 和 Trainium 選項卡中,復制部署 DeepSeek-R1-Distill 模型的示例代碼。

在這里插入圖片描述

注意事項

以下是一些需要了解的重要事項。

  • 定價 – 對于 DeepSeek-R1 等公開可用的模型,您只需根據您為 Amazon Bedrock Markeplace、Amazon SageMaker JumpStart 和 Amazon EC2 選擇的推理實例小時數支付基礎設施價格。對于 Bedrock 自定義模型導入,您只需根據自定義模型的活躍副本數量支付模型推理費用,以 5 分鐘為周期計費。要了解更多信息,請查看 Amazon Bedrock 定價、Amazon SageMaker AI 定價和 Amazon EC2 定價頁面。
  • 數據安全 – 您可以使用 Amazon Bedrock 和 Amazon SageMaker 中的企業級安全功能來幫助您確保數據和應用程序的安全性和私密性。這意味著您的數據不會與模型提供商共享,也不會用于改進模型。這適用于所有模型(專有和公開可用),例如 Amazon Bedrock 和 Amazon SageMaker 上的 DeepSeek-R1 模型。要了解更多信息,請訪問 Amazon Bedrock 安全性和隱私以及 Amazon SageMaker AI 中的安全性。

如果決定不再使用服務的話,記得要在控制臺關閉服務,以防超過免費額度產生扣費。

2023年亞馬遜云科技 技術峰會上海站是亞馬遜云科技在中國舉辦的大型科技盛會,聚焦云計算、人工智能、大數據等前沿技術。峰會匯聚行業領袖、技術專家及開發者,通過主題演講、技術分論壇及實踐案例分享,探討企業數字化轉型、云原生架構、AI/ML創新應用等熱門議題。參與者可深入了解亞馬遜云科技最新服務與解決方案,并體驗動手實踐工作坊,助力企業提升云上創新能力與效率,立即注冊。活動旨在推動云計算技術生態發展,促進企業間的交流與合作。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/82133.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/82133.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/82133.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

中臺項目-微前端qiankun-umimax

學習視頻&#x1f50a; 基礎&#xff1a; 黑馬前端基于qiankun搭建微前端項目實戰教程_嗶哩嗶哩_bilibili 路由、部署配置注意&#xff1a;qiankunvite微前端上線注意事項&#xff0c;base公共路徑設置_嗶哩嗶哩_bilibili 微前端 什么是微前端&#xff1f; 微前端是將前端應…

【Java學習筆記】代碼塊

代碼塊 介紹&#xff1a;代碼塊又稱為初始化塊&#xff0c;屬于類中的成員&#xff08;即是類的一部分&#xff09;&#xff0c;類似于方法&#xff0c;將邏輯語句封裝在方法體中&#xff0c;通過{}包圍起來 與類方法的不同點 無方法名 無返回類型 無參數 只有方法體&#…

spring boot 2.7集成舊的springfox-boot-starter swagger oas 3.0

舊版本目前已經不維護推薦使用 springdoc-openapi-ui&#xff0c;這里為了演示使用舊的最新依賴 <dependency><groupId>io.springfox</groupId><artifactId>springfox-boot-starter</artifactId><version>3.0.0</version> </dep…

Linux按鍵驅動測試方式詳細介紹

Linux按鍵驅動測試可采用以下分層方法&#xff1a; 基礎事件檢測 使用輸入子系統調試工具&#xff1a; sudo apt install evtest # 安裝事件測試工具 evtest # 選擇對應設備編號觸發按鍵后觀察終端輸出&#xff0c;正常情況應顯示&#xff1a; Event:…

USB學習【13】STM32+USB接收數據過程詳解

目錄 1.官方的描述2.HAL的流程把接收到的數據從PMA拷貝到用戶自己定義的空間中 3.處理接收到的數據4.最后再次開啟準備接收工作 1.官方的描述 2.HAL的流程 以上的官方說法我們暫時按下不表。 如果接收到數據&#xff0c;會激活中斷進入到USB_LP_CAN1_RX0_IRQHandler&#xff0…

上海內推 | 上海算法創新研究院-上海交大聯合招收空間智能/具身智能算法實習生

最近這一兩周不少公司已開啟春招和實習招聘。 不同以往的是&#xff0c;當前職場環境已不再是那個雙向奔赴時代了。求職者在變多&#xff0c;HC 在變少&#xff0c;崗位要求還更高了。 最近&#xff0c;我們又陸續整理了很多大廠的面試題&#xff0c;幫助一些球友解惑答疑&am…

C語言速成12之指針:程序如何在內存迷宮里找寶藏?

程序員Feri一名12年的程序員,做過開發帶過團隊創過業,擅長Java、鴻蒙、嵌入式、人工智能等開發,專注于程序員成長的那點兒事,希望在成長的路上有你相伴&#xff01;君志所向,一往無前&#xff01; 0. 前言&#xff1a;程序如何在內存迷宮里找寶藏&#xff1f; 想象內存是一個巨…

部署n8n

https://github.com/n8n-io/n8n docker volume create n8n_data docker run -it --rm --name n8n -p 5678:5678 -v n8n_data:/home/node/.n8n docker.n8n.io/n8nio/n8n Discover 2192 Automation Workflows from the n8ns Community

ABP VNext + Orleans:Actor 模型下的分布式狀態管理最佳實踐

ABP VNext Orleans&#xff1a;Actor 模型下的分布式狀態管理最佳實踐 &#x1f680; &#x1f4da; 目錄 ABP VNext Orleans&#xff1a;Actor 模型下的分布式狀態管理最佳實踐 &#x1f680;一、引言&#xff1a;分布式系統的狀態挑戰 &#x1f4a1;二、架構圖與技術棧 &am…

構建安全AI風險識別大模型:CoT、訓練集與Agent vs. Fine-Tuning對比

構建安全AI風險識別大模型:CoT、訓練集與Agent vs. Fine-Tuning對比 安全AI風險識別大模型旨在通過自然語言處理(NLP)技術,檢測和分析潛在的安全威脅,如數據泄露、合規違規或惡意行為。本文從Chain-of-Thought (CoT)設計、訓練集構建、以及Agent-based方法與**AI直接調優…

Baklib內容中臺的主要構成是什么?

Baklib內容中臺核心架構 Baklib作為一站式知識管理平臺的核心載體&#xff0c;其架構設計圍繞智能搜索引擎優化技術與多終端適配響應系統展開。通過模塊化內容組件的靈活配置&#xff0c;企業可快速搭建知識庫、FAQ頁面及幫助中心等標準化場景&#xff0c;同時借助可視化數據看…

Ubuntu Desktop 24.04 常用軟件安裝步驟

文章目錄 Ubuntu Desktop 24.04 常用軟件安裝步驟Snipaste F1快捷截圖&#xff08;超方便 | 我6臺電腦每臺都用&#xff09;搜狗輸入法快速瀏覽工具 | 空格鍵快速預覽文件壁紙工具 | varietySSH 工具 | Termius 終端分屏工具 | TmuxCaffeine | 避免息屏小工具 一些設置將啟動臺…

詳細使用@rollup/plugin-inject的方式

rollup/plugin-inject 是一個 Rollup 插件&#xff0c;它允許你在構建時自動注入模塊中的變量引用&#xff0c;避免手動在每個文件中 import。Vite 使用的是 Rollup 構建底層&#xff0c;因此該插件在 Vite 項目中也適用。 一、使用場景 比如你希望在代碼中不手動寫 import { …

Day 0017:Web漏洞掃描(OpenVAS)解析

一、NVT腳本解析&#xff1a;漏洞檢測的“DNA” 1. NVT腳本結構 每個NVT腳本都是一個Lua腳本&#xff0c;包含以下核心模塊&#xff1a; lua -- 示例&#xff1a;檢測Apache HTTPd 2.4.49路徑穿越漏洞&#xff08;CVE-2021-41773&#xff09; script_id "1.3.6.1.4.1.…

【HarmonyOS Next之旅】DevEco Studio使用指南(二十六) -> 創建端云一體化開發工程

目錄 1 -> 創建HarmonyOS應用工程 1.1 -> 新建工程 1.1.1 -> 前提條件 1.1.2 -> 選擇模板 1.1.3 -> 配置工程信息 1.1.4 -> 關聯云開發資源 1.2 -> 工程初始化配置 1.2.1 -> 自動開通云開發服務 1.3 -> 端云一體化開發工程目錄結構 1.3.1…

Python 包管理工具 uv

Python 包管理工具 uv 是由 Astral 團隊&#xff08;知名工具 Ruff 的開發者&#xff09;基于 Rust 開發的新一代工具&#xff0c;旨在通過高性能和一體化設計革新 Python 生態的依賴管理體驗。以下是其核心特性、優勢及使用指南的全面解析&#xff1a; 一、uv 的核心優勢 極致…

何謂第二大腦?讀書筆記

2025/05/11 發表想法 每個人都是矛盾結合體&#xff0c;既想學到新知識、新的能力&#xff0c;又想沒辦法專注的學習&#xff0c;既無法專注有渴望學習新技能&#xff0c;逐漸會產生焦慮、失眠等負面癥狀&#xff0c;這就是現實社會現照&#xff0c;那怎么辦&#xff1f;我們能…

動態防御體系實戰:AI如何重構DDoS攻防邏輯

1. 傳統高防IP的靜態瓶頸 傳統高防IP依賴預定義規則庫&#xff0c;面對SYN Flood、CC攻擊等常見威脅時&#xff0c;常因規則更新滯后導致誤封合法流量。例如&#xff0c;某電商平臺遭遇HTTP慢速攻擊時&#xff0c;靜態閾值過濾無法區分正常用戶與攻擊者&#xff0c;導致訂單接…

為什么在設置 model.eval() 之后,pytorch模型的性能會很差?為什么 dropout 影響性能?| 深度學習

在深度學習的世界里&#xff0c;有一個看似簡單卻讓無數開發者困惑的現象&#xff1a; “為什么在訓練時模型表現良好&#xff0c;但設置 model.eval() 后&#xff0c;模型的性能卻顯著下降&#xff1f;” 這是一個讓人抓耳撓腮的問題&#xff0c;幾乎每一個使用 PyTorch 的研究…

[爬蟲知識] http協議

相關爬蟲專欄&#xff1a;JS逆向爬蟲實戰 爬蟲知識點合集 爬蟲實戰案例 引言&#xff1a;爬蟲與HTTP的不解之緣 爬蟲作用&#xff1a;模擬瀏覽器請求網頁為何要懂HTTP&#xff1a;http是網絡通信的基石&#xff0c;爬蟲抓取數據就是通過HTTP協議進行的&#xff0c;了解http有…