6月20日,在上海世博中心舉辦的亞馬遜云科技中國峰會 “在 Amazon EKS 上運行高性能生成式 AI 應用” 分論壇圓滿結束。本次分論壇聚焦于 Amazon EKS 在生成式 AI 應用領域的強大支撐作用,數新智能CTO原攀峰憑借其深厚的技術背景和豐富的實踐經驗,為現場觀眾帶來了一場精彩絕倫且極具深度的演講。
生成式 AI 挑戰與機遇并存,Amazon EKS 成破局關鍵
隨著生成式 AI 的快速發展,從訪問多種基礎模型及其最新版本到自定義基礎模型所遭遇的復雜性,再到數據隱私與安全等難題,都成為制約生成式 AI 進一步發展的關鍵因素。然而,挑戰往往與機遇并存,生成式 AI 作為一種前沿技術,其應用前景廣闊,有望在眾多領域實現突破和創新。
EKS 助力生成式 AI 應用:獨特優勢引領潮流
Amazon EKS 作為亞馬遜云科技的托管 Kubernetes 服務,提供標準化、易于擴展且高度靈活的基礎設施環境,與亞馬遜云科技的 ML 基礎設施服務緊密集成,無縫對接,讓開發者能充分利用豐富的開源工具生態,快速部署生成式 AI 應用。同時,EKS 在成本優化方面表現出色,企業可根據自身需求靈活掌控數據和基礎設施配置,實現生成式 AI 應用的高效運行和成本控制。
例如,通過集成開源解決方案用于 ML 專用編排,實現 GPU 共享、基于優先級的調度以及預配 / 規模調整等操作,借助 Karpenter 等工具自動執行成本優化編排,提高資源利用率,確保企業在復雜生成式 AI 應用場景中高效運作。
數新智能一站式多云 AI 原生數智平臺 賦能企業高速轉型
原攀峰首先介紹了數新智能的定位與核心產品。數新智能作為一家專注于一站式多云AI原生數智平臺和數據價值流通的服務商,傾力打造了一站式AI原生且開放兼容的數據智能平臺——DataCyber。該平臺基于 AWS 云底座提供的 EC2、ECR、EKS、RDS、EFS 等基礎服務,形成了完備的數據智能產品體系。
數智引擎CyberEngine基于現代化數據架構,為客戶提供云原生存算分離、彈性伸縮、100% 兼容開源且極致成本優化的大數據平臺底座。它以 AWS 的 S3 為統一存儲,Glue 實現統一元數據管理,并提供 Spark、Flink 等云原生計算引擎,同時兼容亞馬遜官方引擎 EMR、Redshift 以及第三方引擎。數據平臺 CyberData 聚焦數據倉庫、數據湖、湖倉一體等場景,提供一站式、全鏈路的大數據開發與治理平臺,助力企業全方位提升數據生產力。
智能平臺 CyberAI則是一站式機器學習平臺及大模型 AI 應用平臺,賦予開發者智能體開發、企業知識庫構建等強大能力。目前,DataCyber 平臺已在 AWS 云市場上架,為電商、零售、游戲等多行業數十家企業客戶提供優質的數據智能產品服務,廣受好評。
大模型 Agent 開發與數據平臺的雙向賦能
在生成式 AI 浪潮下,數據成為核心驅動力。大模型 Agent 開發對數據有著極高要求,既需要精準的結構化數據,又需融合文本、圖片、視頻等非結構化數據。傳統數據平臺難以滿足這一復雜需求,而數新智能的 CyberData 數據平臺憑借多模態數據湖管理能力脫穎而出。
它實現數據采集、存儲、管理、處理、開放、安全等全生命周期管理,高效加速 AI 應用開發落地。這不僅為大模型 Agent 開發提供了堅實的數據基礎,還反哺數據平臺,推動其不斷優化升級,二者相互促進、協同發展,為 AI 應用創新注入強勁動力。在大數據開發治理場景中,數新智能創新研發的 Data Agent,徹底改變了業務人員分析和獲取數據的傳統繁瑣流程。業務人員只需用自然語言提出需求,Data Agent 便能自主規劃任務、執行任務、反饋問題并動態優化,自動完成從數據清洗到 SQL 生成、執行以及報表生成的全流程,無需手動編排,極大地提升數據處理效率與質量,重塑數據開發與治理流程,引領智能化數據管理新趨勢。
云上大數據平臺的成本優化實踐
隨著 AI 時代的發展,大數據平臺面臨著計算存儲成本激增的挑戰。數新智能基于 CyberData + CyberEngine 產品,在亞馬遜 EKS 上展開了深入的成本優化實踐。
在數據存儲層,采用對象存儲和冷熱分離技術,有效降低存儲成本。數據計算層作為優化重點,從硬件架構選型、K8s 集群彈性伸縮、大數據集群分類以及大數據任務配置智能調優等多維度發力。在硬件架構選型上,精心挑選高性價比的計算資源,為大數據處理提供強大動力的同時控制成本。借助 Karpenter 組件,依據大數據任務的峰谷分布,精準彈性伸縮 K8s 集群,實現計算資源的按需分配,避免資源浪費。針對不同業務特性對大數據集群進行細致分類,制定差異化的資源配置策略,讓資源利用更加精細化。
同時,通過大數據任務配置智能調優工具,深度分析任務運行歷史指標數據,給出精準的 CPU、內存等參數調優建議。結合任務調度器,實現任務智能化調優全流程打通,持續提升任務運行效率,降低計算資源消耗。數據平臺層與數據應用層則采用 Pod 級別彈性伸縮技術,針對在線微服務進行精細化成本優化,在保障服務穩定高效運行的基礎上,進一步削減成本開支,全方位助力企業實現大數據平臺的成本管控與效益提升。
Amazon EKS 與 DataCyber 平臺推動生成式 AI 發展與企業創新
本次演講,原攀峰詳細闡述了數新智能在亞馬遜 EKS 上的創新實踐,從大模型 Agent 開發與數據平臺的雙向賦能,到云上大數據平臺的成本優化,全方位展現了數新智能的技術實力與創新能力。這些實踐成果不僅為數新智能自身發展筑牢根基,更為行業提供了寶貴經驗與參考范式。未來,數新智能將繼續深耕技術,攜手亞馬遜云科技等合作伙伴,推動 Data + AI 技術在更多領域的落地應用,助力企業數字化轉型與智能化升級,在大數據與 AI 的融合創新之路上砥礪前行,創造無限可能。