AI驅動下的數據新基建:騰訊游戲數據資產治理與湖倉架構革新

在大模型技術迅猛發展的今天,AI?正深度重塑數據基礎設施,推動其向智能化快速演進。如何將?AI?深度融入數據管理,釋放數據的潛在價值、提升運營效率,成為企業在構建?AI?驅動的數據資產管理體系的核心問題。

在近期舉辦的“DataFun?AI+BI智能驅動峰會”上,騰訊游戲公共數據平臺部專家戴詩峰分享了騰訊游戲在AI驅動下進行數據基礎設施智能化革新的實踐。他圍繞騰訊游戲數據發展背景、AI驅動的資產體系重塑、智能湖倉架構建設以及AI智能場景應用探索四大核心議題,展示了如何通過“人+AI”雙引擎模式,驅動游戲業務的智能化升級,開啟數據治理的新篇章。

?騰訊游戲數據發展的三階段

戴詩峰回顧了騰訊游戲數據的二十年歷程,將其數據能力演進劃分為三個階段。在早期的端游時代,騰訊游戲的數據體系主要圍繞統一日志結構搭建,針對不同游戲需求進行逐一定制(CaseByCase)。這種方式雖然支撐了基礎運營分析,但數據資產缺乏沉淀,新需求響應依賴人工,效率較低。隨著2015年前后移動游戲的爆發,數據中臺模式應運而生,騰訊游戲將分散的日志加工成可復用的指標、畫像、模型等標準資產,涵蓋了更廣泛的用戶生命周期運營、精細化營銷等需求。

當下,游戲行業正迎來AI賦能的轉折點。2020年起,騰訊游戲開始打造"能被大模型理解的數據資產",通過血緣染色、智能標注等技術讓?AI?解析資產含義,同時在前端探索搭建統一自助服務門戶,整合數據探索平臺與LLM集成應用,使得90%的業務需求無需人工開發,推動數據從?“技術專屬”?真正走向?“業務自助”。

?AI時代數據技術的核心要求

戴詩峰強調,在數據框架演進至優化階段,數據技術體系需圍繞?“數據?AI?化內核、湖倉一體基座、業務自助化界面”?三大核心構建,才能實現從?“數據石油”?到?“智能汽油”?的轉化。

首先,數據?AI?化內核要求資產既能被人工理解,也能被?AI?理解。騰訊游戲通過原始數據的血緣染色和智能化標注,結合本地化資產模型訓練,建立起持續運營機制。其次,湖倉一體基座則需應對?PB?級訓練數據的成本與性能挑戰,統一管理結構化(如運營數據)與非結構化數據(如游戲語音、圖片),實現流批一體化計算,讓實時與離線數據能被統一訪問。最后,業務自助化界面則聚焦降低使用門檻,支持自然語言查詢生成報表、基于角色推薦數據集、無代碼生成預警規則等,讓業務人員直接?“用數據說話”。

?基于AI的智能資產中臺構建

戴詩峰指出,面對傳統數據中臺的“新需求響應滯后、業務難訪問明細數據、存儲成本高企”這三大痛點,騰訊游戲通過構建智能資產中臺實現突破,核心是 “雙目標驅動 + 知識圖譜閉環”。

雙目標驅動以 “資產復用率” 為北極星指標,通過本地化評價模型提升 AI 對資產的理解準確率,同時要求大模型覆蓋 100% 數據開發場景、業務自助需求滿足率超 90%。知識圖譜閉環將資產分為基礎資產(人工可理解)與優質資產(人機雙理解),通過特征聚類、血緣分析關聯數據鏈路與業務標簽,目前已覆蓋 5500 + 資產表、10W + 數據列,資產推薦 TOP3 準確度達 95.3%。

值得注意的是,在智能資產中臺里,“讓?AI?理解資產”并不是模糊的概念。為保障資產體系持續迭代,騰訊游戲還構建了十一步資產建設與應用閉環,涵蓋從資產規范定義、候選資產生成到需求匹配、模型認證、圖譜構建,再到應用反饋與資產下架的完整生命周期。通過持續評估模型理解準確率并調優,確保整個資產體系能夠動態進化。

?智能湖倉架構的建設與升級

任何上層應用的突破,都離不開底層架構的支撐。騰訊游戲的數據架構伴隨著業務發展不斷升級,從2010年分散的關系型數據庫體系,到2015年引入Hadoop,但仍存在離線和實時數據壁壘的大數據架構,最終在2022年啟動、2023年完成全部業務遷移至湖倉一體架構,實現了數據管理效率與業務支撐能力的躍升。

湖倉架構的核心價值在于打破數據湖與數據倉庫的界限,通過統一平臺管理數據,引入彈性伸縮計算和運營托管等機制,具備支持事務(確保數據一致性)、統一管理異構數據、兼容?BI?工具訪問、打通端到端數據流、保持開放性、適配多場景等七大核心特性。

戴詩峰提到,湖倉架構設計圍繞?“隨需而動、豐儉由人、資產自治”?三個原則。“隨需而動”?即技術服務于業務需求,如線上活動、高時效性場景需要實時數據才搭建實時鏈路;“豐儉由人”?是指不同業務根據自身情況選擇,預算足、追求速度的業務將數據放?“倉”?里,對時效要求不高的業務直接用工具訪問?“湖”,業務可自主選擇計算加速層和引擎層的使用方式;“資產自治”?則實現資產自治理,高頻有價值的資產自動沉淀優化,低頻無效資產自動降級釋放資源,無需人工持續干預,有效提升資源利用效率。這三個原則共同確保了湖倉架構既能精準匹配業務需求,又能實現資源利用效率的最大化。

這種架構帶來的業務價值是立竿見影的。目前騰訊游戲基于湖倉架構實現了業務支撐能力的雙重躍升:在交付模式上,過去冗長的需求流程被依托湖倉動態資產和AI能力的快速交付所取代。在數據時效上,實現了日志接入即實時化,湖中數據保持實時可用,有力支撐了前端資產和看板的實時更新,為業務決策提供了更及時的依據。

?AI在數據場景的應用探索

在智能資產體系與湖倉架構支撐下,AI?已深度融入數據服務全場景,形成分層化的應用體系。

戴詩峰認為,最基礎的業務應用是經營分析可視化。當前團隊投入精力最多的是精細化運營場景,業務人員常常需要在查看報表后進行更靈活的動態分析(如對比新老活動數據),這高度依賴明細數據的提取能力,騰訊游戲正借助流式計算和湖倉架構來加速響應。而輔助決策等更高級場景,雖AI有潛力,但目前受限于穩定性和知識理解深度,仍需以預研探索為主,現階段的核心仍聚焦于提升精細化運營的效率。

在精細化運營場景中,數據提取并非簡單的?Text-to-SQL?過程,而是需要一整套的工程化平臺支撐。從需求拆解、資產探查、SQL?生成,到批量跑數、結果驗證,整個過程并非“需求→結果”的直線,而是靠工程化平臺串聯“找數據、寫邏輯、跑任務、驗結果”等環節,實現高效支撐精細化運營,讓業務及時拿到所需數據。

在數據底座、資產及領域模型支撐下,Text-to-SQL只是起點,還可延伸出?Text-to-DSL,覆蓋智能問答等場景,形成一個價值閉環。需求拆解和生成過程中沉淀的新特征或口徑,會被反饋回資產建設體系,或成為個人特征,或升級進入公共資產目錄,不斷豐富知識庫,反哺后續的需求理解和應用深化,推動業務與資產體系迭代,讓數據應用更深入、高效。

?結語

騰訊游戲通過AI驅動的數據新基建,實現了從"數據石油"到"智能汽油"的轉化。未來,團隊將持續深化資產體系與湖倉架構的智能化融合,積極探索AI在實時場景的創新應用,如實時玩家情感分析、自動化運營策略生成等,為游戲業務創新注入源源不斷的智能動力。

?書籍推薦

《大模型工程化:AI驅動下的數據體系》是騰訊游戲數據團隊基于多年游戲數據工作的實踐經驗,發布的技術專著。該書深入講解了大模型技術的發展、應用及工程化原理,并特別聚焦于游戲領域的應用。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/917364.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/917364.shtml
英文地址,請注明出處:http://en.pswp.cn/news/917364.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

ubuntu 系統風扇控制軟件 CoolerControl

背景 A6000顯卡的溫度一直都是86度左右,GPU的風扇轉速不夠大。 我首先把 nvidia的驅動更新了,但是發現風扇依然依然保持在較低的轉速。 后面無意間搜到了CoolerControl 這個linux平臺的風扇控制軟件。設置之后,增加了風扇的轉速,…

Oracle 11gR2 Clusterware應知應會

Oracle 11gR2 Clusterware應知應會 關鍵特性 啟動順序 日志路徑 資源狀態 資源管理 關鍵特性 ?? Oracle 11gR2 Clusterware的一些關鍵特性如下: 在安裝運行11gR2的Real Application Clusters數據庫之前需要先安裝11gR2 Clusterware。 GRID home包括Oracle Clusterware和AS…

微信小程序蘋果手機和安卓,怎么做適配

1. 基于 rpx 單位進行布局適配微信小程序采用 rpx 作為尺寸單位,以實現不同設備的布局適配。小程序的屏幕寬度固定為 750rpx,在不同設備上通過動態計算 1rpx 對應的像素值進行適配。例如,在 iPhone 6 中,屏幕寬度為 375px&#xf…

XGBoost三部曲:XGBoost參數詳解

之前已經介紹了XGBoost三部曲:XGBoost原理。本文詳細介紹XGBoost參數,讓大家在使用XGBoost的過程中能得心應手。后續會更新XGBoost實戰,敬請期待。 文章目錄 一、核心概念回顧 二、XGBoost算法參數整體介紹 1 原生接口和Scikit-learn接口的區別 2 參數分類詳解 三、核心Boos…

【python】轉移本地安裝的python包

我們現在需要將某個環境已經安裝的 python 包離線傳遞到另外一個環境,且確保這種安裝行為最終不需要對 PYPI 中央倉庫的有效連接,也能完成。下面給出兩種辦法: docker container 如果你的 python 環境位于某個容器內,那最好的辦法…

TGD第十篇:當神經網絡遇到TGD特征

目錄一、實驗背景二、實驗設置三、實驗結果和分析四、結語TGD 是我們定義的一種新的“變化率表征”,對連續函數而言是一種新的“廣義導數”,對離散序列而言是一種新的差分。TGD 是一個名字,一個代號。在基于 TGD 的圖像邊緣檢測以及視頻邊緣檢…

FreeRTOS源碼分析二:task啟動(RISCV架構)

系列文章目錄 FreeRTOS源碼分析一:task創建(RISCV架構) 文章目錄系列文章目錄前言vTaskStartScheduler 調度器啟動函數xPortStartScheduler架構特定調度器啟動函數vPortSetupTimerInterrupt啟動 RISCV 定時器中斷xPortStartFirstTask啟動第一…

Python編程基礎與實踐:Python基礎運算符與表達式入門

Python運算符與表達式實戰 學習目標 通過本課程的學習,學員可以掌握Python中算術運算符、比較運算符、邏輯運算符及賦值運算符的使用方法,并能夠構建簡單的表達式來解決實際問題。 相關知識點 Python運算符與表達式 學習內容 1 Python運算符與表達式 1.1…

Git下載全攻略(未更新完)

一、在 Windows 上安裝 Git? ??? 1.1 下載安裝包? 官方版本可在 Git 官方網站下載,打開Redirecting…,下載會自動開始。此安裝包來自名為 Git for Windows 的項目(也稱作 msysGit),它與 Git 本身是相互獨立的項目,更多相關信息可訪問Redirecting Git for Windows…

rocky\centos安裝docker鏡像的命令

1.安裝依賴: sudo yum install -y yum-utils device-mapper-persistent-data lvm22. 選擇倉庫源: sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo阿里源: sudo yum-config-manager --add-r…

扣子,正式擁抱開源!

資料來源:火山引擎-開發者社區 扣子 是新一代 AI Agent 平臺,旗下有四款子產品:「扣子空間」、「扣子開發平臺」、「扣子羅盤」 及 Eino 。 我們始終堅信,AI Agent 的未來屬于每一位開發者和創造者。為了讓前沿的 AI 技術能夠更快…

Git 各場景使用方法總結

以下是對 Git 各場景使用方法的全面總結,涵蓋 20+ 核心場景和 100+ 命令,包含詳細參數、使用示例及原理說明: 一、基礎操作場景 1. 倉庫初始化 # 本地初始化 git init git init --bare # 創建裸倉庫(無工作區) git init -b main # 指…

國際標準組織共聚,智源推動全球AI開源與國際標準雙輪驅動人工智能普惠化發展

7 月 26 日,人工智能標準化國際合作論壇在上海召開。該論壇由聯合國工業發展組織全球工業人工智能聯盟卓越中心主辦,中國電子技術標準化研究院、上海人工智能研究院承辦,工業和信息化部副部長單忠德、國家市場監督管理總局標準創新管理司司長…

《安富萊嵌入式周報》第356期:H7-TOOL的250M示波器模組批量生產中,自主開發QDD執行器,開源14bit任意波形發生器(2025-07-28)

周報匯總地址:嵌入式周報 - uCOS & uCGUI & emWin & embOS & TouchGFX & ThreadX - 硬漢嵌入式論壇 - Powered by Discuz! 視頻版 《安富萊嵌入式周報》第356期:H7-TOOL的250M示波器模組批量生產中,自主開發QDD執行器&a…

大模型學習專欄-導航頁

概要 本專欄是小編系統性調研大模型過程中沉淀的知識結晶,涵蓋技術原理、實踐應用、前沿動態等多維度內容。為助力讀者高效學習,特整理此導航頁,以清晰脈絡串聯核心知識點,搭建起系統的大模型學習框架,助您循序漸進掌握…

leetcode熱題——組合

組合題目描述給定兩個整數 n 和 k,返回范圍 [1, n] 中所有可能的 k 個數的組合。你可以按 任何順序 返回答案。示例 1: 輸入:n 4, k 2 輸出: [ [2,4], [3,4], [2,3], [1,2], [1,3], [1,4] ]示例 2: 輸入:…

暑期算法訓練.13

目錄 57 力扣14最長公共前綴 57.1 題目解析: 57.2 算法思路 57.3 代碼演示: ?編輯 57.4 總結反思: 58 力扣 5最長回文字符串 58.1 題目解析: ?編輯 58.2 算法思路: 58.3 代碼演示: ?編輯 …

四、Portainer圖形化管理實戰與Docker鏡像原理

作者:IvanCodes 日期:2025年8月2日 專欄:Docker教程 一、Portainer 安裝與基礎使用教程 Portainer 是一個輕量級、功能強大的Docker圖形化管理界面 (GUI)。它能讓你通過簡單的Web界面來管理和監控你的Docker容器、鏡像、卷、網絡等資源&…

網絡爬蟲(python)入門

一、網絡爬蟲介紹 網絡爬蟲(Web Crawler)是一種自動抓取互聯網信息的程序,它能夠高效地從海量網頁中提取有價值的數據。作為數據采集的利器,爬蟲技術在數據分析、搜索引擎、價格監控等領域有著廣泛應用。本文將帶你全面了解Pytho…

如何解決pip安裝報錯ModuleNotFoundError: No module named ‘plotnine’問題

【Python系列Bug修復PyCharm控制臺pip install報錯】如何解決pip安裝報錯ModuleNotFoundError: No module named ‘plotnine’問題 一、摘要 在使用 PyCharm 進行 Python 開發時,常常需要通過 pip install 安裝第三方包。某天,你在終端或 PyCharm 控制…