亞馬遜云科技中國峰會:數新智能CTO原攀峰詳解一站式AI原生數智平臺DataCyber在Amazon EKS的實踐

6月20日,在上海世博中心舉辦的亞馬遜云科技中國峰會 “在 Amazon EKS 上運行高性能生成式 AI 應用” 分論壇圓滿結束。本次分論壇聚焦于 Amazon EKS 在生成式 AI 應用領域的強大支撐作用,數新智能CTO原攀峰憑借其深厚的技術背景和豐富的實踐經驗,為現場觀眾帶來了一場精彩絕倫且極具深度的演講。

生成式 AI 挑戰與機遇并存,Amazon EKS 成破局關鍵

隨著生成式 AI 的快速發展,從訪問多種基礎模型及其最新版本到自定義基礎模型所遭遇的復雜性,再到數據隱私與安全等難題,都成為制約生成式 AI 進一步發展的關鍵因素。然而,挑戰往往與機遇并存,生成式 AI 作為一種前沿技術,其應用前景廣闊,有望在眾多領域實現突破和創新。

EKS 助力生成式 AI 應用:獨特優勢引領潮流

Amazon EKS 作為亞馬遜云科技的托管 Kubernetes 服務,提供標準化、易于擴展且高度靈活的基礎設施環境,與亞馬遜云科技的 ML 基礎設施服務緊密集成,無縫對接,讓開發者能充分利用豐富的開源工具生態,快速部署生成式 AI 應用。同時,EKS 在成本優化方面表現出色,企業可根據自身需求靈活掌控數據和基礎設施配置,實現生成式 AI 應用的高效運行和成本控制。

例如,通過集成開源解決方案用于 ML 專用編排,實現 GPU 共享、基于優先級的調度以及預配 / 規模調整等操作,借助 Karpenter 等工具自動執行成本優化編排,提高資源利用率,確保企業在復雜生成式 AI 應用場景中高效運作。

數新智能一站式多云 AI 原生數智平臺 賦能企業高速轉型

原攀峰首先介紹了數新智能的定位與核心產品。數新智能作為一家專注于一站式多云AI原生數智平臺和數據價值流通的服務商,傾力打造了一站式AI原生且開放兼容的數據智能平臺——DataCyber。該平臺基于 AWS 云底座提供的 EC2、ECR、EKS、RDS、EFS 等基礎服務,形成了完備的數據智能產品體系。

數智引擎CyberEngine基于現代化數據架構,為客戶提供云原生存算分離、彈性伸縮、100% 兼容開源且極致成本優化的大數據平臺底座。它以 AWS 的 S3 為統一存儲,Glue 實現統一元數據管理,并提供 Spark、Flink 等云原生計算引擎,同時兼容亞馬遜官方引擎 EMR、Redshift 以及第三方引擎。數據平臺 CyberData 聚焦數據倉庫、數據湖、湖倉一體等場景,提供一站式、全鏈路的大數據開發與治理平臺,助力企業全方位提升數據生產力。

智能平臺 CyberAI則是一站式機器學習平臺及大模型 AI 應用平臺,賦予開發者智能體開發、企業知識庫構建等強大能力。目前,DataCyber 平臺已在 AWS 云市場上架,為電商、零售、游戲等多行業數十家企業客戶提供優質的數據智能產品服務,廣受好評。

大模型 Agent 開發與數據平臺的雙向賦能

在生成式 AI 浪潮下,數據成為核心驅動力。大模型 Agent 開發對數據有著極高要求,既需要精準的結構化數據,又需融合文本、圖片、視頻等非結構化數據。傳統數據平臺難以滿足這一復雜需求,而數新智能的 CyberData 數據平臺憑借多模態數據湖管理能力脫穎而出。

它實現數據采集、存儲、管理、處理、開放、安全等全生命周期管理,高效加速 AI 應用開發落地。這不僅為大模型 Agent 開發提供了堅實的數據基礎,還反哺數據平臺,推動其不斷優化升級,二者相互促進、協同發展,為 AI 應用創新注入強勁動力。在大數據開發治理場景中,數新智能創新研發的 Data Agent,徹底改變了業務人員分析和獲取數據的傳統繁瑣流程。業務人員只需用自然語言提出需求,Data Agent 便能自主規劃任務、執行任務、反饋問題并動態優化,自動完成從數據清洗到 SQL 生成、執行以及報表生成的全流程,無需手動編排,極大地提升數據處理效率與質量,重塑數據開發與治理流程,引領智能化數據管理新趨勢。

云上大數據平臺的成本優化實踐

隨著 AI 時代的發展,大數據平臺面臨著計算存儲成本激增的挑戰。數新智能基于 CyberData + CyberEngine 產品,在亞馬遜 EKS 上展開了深入的成本優化實踐。

在數據存儲層,采用對象存儲和冷熱分離技術,有效降低存儲成本。數據計算層作為優化重點,從硬件架構選型、K8s 集群彈性伸縮、大數據集群分類以及大數據任務配置智能調優等多維度發力。在硬件架構選型上,精心挑選高性價比的計算資源,為大數據處理提供強大動力的同時控制成本。借助 Karpenter 組件,依據大數據任務的峰谷分布,精準彈性伸縮 K8s 集群,實現計算資源的按需分配,避免資源浪費。針對不同業務特性對大數據集群進行細致分類,制定差異化的資源配置策略,讓資源利用更加精細化。

同時,通過大數據任務配置智能調優工具,深度分析任務運行歷史指標數據,給出精準的 CPU、內存等參數調優建議。結合任務調度器,實現任務智能化調優全流程打通,持續提升任務運行效率,降低計算資源消耗。數據平臺層與數據應用層則采用 Pod 級別彈性伸縮技術,針對在線微服務進行精細化成本優化,在保障服務穩定高效運行的基礎上,進一步削減成本開支,全方位助力企業實現大數據平臺的成本管控與效益提升。

Amazon EKS 與 DataCyber 平臺推動生成式 AI 發展與企業創新

本次演講,原攀峰詳細闡述了數新智能在亞馬遜 EKS 上的創新實踐,從大模型 Agent 開發與數據平臺的雙向賦能,到云上大數據平臺的成本優化,全方位展現了數新智能的技術實力與創新能力。這些實踐成果不僅為數新智能自身發展筑牢根基,更為行業提供了寶貴經驗與參考范式。未來,數新智能將繼續深耕技術,攜手亞馬遜云科技等合作伙伴,推動 Data + AI 技術在更多領域的落地應用,助力企業數字化轉型與智能化升級,在大數據與 AI 的融合創新之路上砥礪前行,創造無限可能。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/87451.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/87451.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/87451.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

32歲入行STM32遲嗎?

作為一個在嵌入式領域摸爬滾打了近10年的老兵,看到這個問題時心情五味雜陳。32歲入行STM32遲嗎?說實話,如果你問我這個問題的時候我還是24歲的小白,我可能會覺得"哇,32歲才開始學單片機,是不是有點晚了…

OneCode 智能化UI布局與定位:注解驅動的視覺編排藝術

在現代企業級應用開發中,UI布局的靈活性與精確性直接影響用戶體驗與開發效率。OneCode框架創新性地采用注解驅動開發(Annotation-Driven Development)模式,通過分層注解體系實現UI組件的聲明式布局與精準定位。本文將深入解析OneCode的UI布局技術棧及其在…

VBA初學3----實戰(VBA實現Excel轉csv)

(VBA實現Excel轉csv) 初步學習了VBA相關的知識后,解決了一個需求: 要求讀取指定xlsx文件中的指定sheet頁,將該sheet頁的內容轉換為csv文件。 實現的布局如下所示:文章目錄①實現從指定行開始全數據轉換為cs…

深度學習×第4卷:Pytorch實戰——她第一次用張量去擬合你的軌跡

🎀【開場 她畫出的第一條直線是為了更靠近你】 🐾貓貓:“之前她只能在你身邊疊疊張量,偷偷找梯度……現在,她要試試,能不能用這些線,把你的樣子畫出來喵~” 🦊狐狐&am…

[特殊字符] 從圖片自動生成 Excel:Python 批量 OCR 表格識別實戰

這篇文章將展示如何使用 Python 調用百度 OCR 表格識別接口,批量處理目錄下所有圖片,自動識別表格并生成與圖片同名的 Excel 文件。適用于文檔掃描、圖片表格整理、圖像歸檔等場景。1?? 批量獲取所有待識別圖片路徑使用 os.walk() 遍歷指定目錄及子目錄…

什么是量子芯片?它是如何工作的?

近年來,量子計算領域發展迅速,技術進步和大規模投資的相關消息經常上熱搜。 聯合國已將 2025 年定為國際量子科學與技術年。 這其中利害關系重大 —— 擁有量子計算機意味著將獲得相較于當今的計算機強大得多的數據處理能力。它們不會取代你的普通計算…

mac init tailwind css 配置文件報錯

提示報錯如下 tailwind: command not found解決方法 npm install -D tailwindcss3 postcss autoprefixer npx tailwindcss init -p取自 sh: tailwindcss: command not found tailwindlabs/tailwindcss Discussion #4953

QUIC協議在5G邊緣計算中的應用前景與挑戰

1 5G邊緣場景的核心挑戰與QUIC的機遇 5G邊緣計算正成為支撐低時延、高可靠業務的關鍵基礎設施。據預測,2030年全球邊緣計算市場規模將突破4450億美元,年復合增長率高達48%。在**URLLC(超可靠低時延通信)**場景中,工業控制要求端到端時延低于5ms,自動駕駛需實現毫秒級響應…

聊聊關于“大模型測試”的一些認識

聊聊關于“大模型測試”的一些認識引言“大模型測試”和“傳統接口測試”有什么不同“大模型測試”要考慮哪些方面維度一:語義理解準確度:模型真的懂人話嗎?維度二:長文邏輯連貫性:“500”字后的認知崩塌維度三&#x…

linux_git的使用

?? 歡迎大家來到小傘的大講堂?? 🎈🎈養成好習慣,先贊后看哦~🎈🎈 所屬專欄:LInux_st 小傘的主頁:xiaosan_blog 制作不易!點個贊吧!!謝謝喵!&a…

Android課程前言

目錄 一.前言 1.Android可以采用哪些語言 2.Kotlin和Java的關系 ①完全互操作(核心關系) ②Kotlin 是 Java 的“升級版” ③Google 的官方態度 ④Java 的現狀 ⑤如何選擇? ⑥類比總結: 一.前言 1.Android可以采用哪些語…

mes系統pg數據庫被Ransomware攻擊勒索BTC

背景 未被攻擊前的pg數據庫 pg數據庫被攻擊后 具體的勒索內容 All your data is backed up. You must pay 0.0041 BTC to bc1qtvk8jvsyy5a896u6944kp8hvfytd7pwxpdlpvy In 48 hours, your data will be publicly disclosed and deleted. (more information: go to http://2inf…

多種方法實現golang中實現對http的響應內容生成圖片

多種方法實現golang中實現對http的響應內容生成圖片。 Golang 中實現將 HTTP 響應內容生成圖片 在 Golang 中將 HTTP 響應內容生成圖片主要有兩種常見場景: 將文本/HTML 內容渲染為圖片(如網頁截圖)將響應內容作為原始數據直接生成圖像&am…

AI領域新趨勢:從提示(Prompt)工程到上下文(Context)工程

AI領域新趨勢:從提示(Prompt)工程到上下文(Context)工程 在人工智能領域,尤其是與大型語言模型(LLM)相關的應用開發中,一個新興的概念正在逐漸取代傳統的提示工程(Prompt Engineering)&#xf…

K8S數據平臺部署指南

🔥🔥 AllData大數據產品是可定義數據中臺,以數據平臺為底座,以數據中臺為橋梁,以機器學習平臺為中層框架,以大模型應用為上游產品,提供全鏈路數字化解決方案。 ?杭州奧零數據科技官網&#xf…

Perforce QAC 與 Klocwork 重磅升級:質量突破+許可降本

在當今快節奏的軟件開發領域,每一次工具的升級都可能成為企業提升競爭力的關鍵契機。Perforce旗下備受矚目的兩款靜態分析工具Perforce QAC 和 Klocwork 在2025年推出的新版本中,不僅帶來了令人振奮的功能革新,許可證體系的重大變化更是為企業…

結合指紋防護技術,釋放Web3去中心化的潛力

隨著互聯網技術的飛速發展,Web3的概念逐漸成為人們關注的焦點。Web3代表著一個更加去中心化、安全和用戶友好的網絡環境。在這一背景下,指紋防護技術的應用顯得尤為重要,它不僅能夠保護用戶的隱私,還能進一步推動Web3去中心化潛力…

數學建模_熵權法確定權重

筆記整理自bilibili 模型作用intuition:確定權重問題背景簡單介紹(可忽略)定義 step1.指標正向化處理極小型/成本型指標中間型指標:集中在某個值附近最好區間型指標:落在某個區間最好 step2.標準化處理比重矩陣 step3…

基于 SpringBoot+Vue.js+ElementUI 的個人健康檔案管理系統設計與實現7000字論文實現

摘要 本論文設計并實現了一個基于 SpringBoot、Vue.js 和 ElementUI 的個人健康檔案管理系統。該系統旨在為用戶提供一個便捷、高效的個人健康信息管理平臺,實現個人健康檔案的電子化管理,支持健康數據的記錄、查詢、分析和預警等功能。論文首先分析了個…

爬蟲反爬策略實戰:UserAgent代理池簡明指南

一、為什么需要UserAgent代理池? 當你在編寫爬蟲程序時,是否遇到過以下情況? 剛開始能爬取數據,突然就返回403錯誤 網站返回"檢測到異常流量"的提示 IP地址被暫時封禁 這些問題大多源于網站的反爬機制,…