Tencent TBDS(Tencent Big Data Suite)是騰訊公司推出的大數據處理套件,它基于騰訊多年海量數據處理經驗,依托云原生技術和泛Hadoop生態開源技術,為用戶提供可靠、安全、易用的大數據處理平臺。
TBDS可以在公有云、私有云、非云化環境中,根據不同數據處理需求組合合適的存算分析組件,如Hive、Spark、HBase、Flink、Presto、Iceberg、Elasticsearch、StarRocks等,以快速構建企業級數據湖倉。其主要特點和優勢包括:
-
技術開放:兼容開源Hadoop標準生態,使得歷史構建在Hadoop上的大數據平臺可以平滑遷移。同時,全開放的數據存儲格式和豐富的開源大數據組件,可以根據需要靈活搭配,支持多驅動接入。
-
安全可靠:數據節點采用分布式部署,支持多場景容災方案。提供數據加密傳輸、存儲等功能,確保數據的安全性。全平臺支持單點登錄,統一策略管控中心,方便管理。
-
彈性擴展:TBDS可以根據業務需求自動擴展計算和存儲資源,以應對不斷增長的數據量和計算需求。
-
多樣化的計算引擎:支持多種計算引擎,包括Hadoop、Spark和Flink等,用戶可以根據實際需求選擇最適合的引擎進行數據處理和分析。
-
數據集成和實時處理:支持將不同來源的數據進行集成和處理,同時提供實時數據處理的能力,滿足用戶對實時數據分析的需求。
-
架構組成:
- 應用層:這是用戶直接交互的層面,用戶可以通過頁面進行用戶管理、庫表管理以及全鏈路的應用開發。
- 平臺層:提供各類大數據組件,供開發者運行各類大數據程序。這些組件包括數據倉庫、數據湖、數據集成、數據開發套件等,用于支持數據的存儲、處理、集成和開發。
- 全局工作流平臺Lhotse:用戶將開發好的應用在此平臺上進行任務調度,通過任務將數據接入后再經過實時計算平臺Oceanus或者離線MR任務處理,最后落地存儲在HDFS上。
-
數據處理能力:
- 多數據源支持:TBDS支持從多種異構數據源中捕獲數據,包括但不限于關系型數據庫、NoSQL數據庫、HDFS、Hive等。
- 全鏈路數據開發:提供從數據采集、數據集成、數據開發到數據存儲的全鏈路數據開發能力。
- 數據處理和分析:支持離線批處理計算、實時流處理計算等多種數據處理方式,滿足用戶不同的數據處理需求。
-
性能和可靠性:
- 高性能數據接入引擎:內部業務日接入五萬億條數據,性能全面超越社區方案,數據處理能力提升30%左右。
- 可靠性:系統控制節點組件熱備高可用,故障可秒級切換。經過騰訊95%的業務考驗,可用性達99.999%。支持多場景容災方案,確保數據安全。
-
安全性和合規性:
- 數據加密傳輸和存儲:支持數據加密傳輸和存儲,確保數據在傳輸和存儲過程中的安全性。
- 訪問控制和審計:提供基于角色的數據管控體系,支持Kerberos認證和細粒度權限控制。同時,提供完善的訪問審計及預警模型,確保數據訪問的合規性。
-
易用性和可維護性:
- 一鍵式部署:支持一鍵式部署,用戶只需選擇適合的服務即可快速完成部署。
- 智能運維:提供可觀測智能運維管控、數據遷移、容災備份、巡檢診斷、健康評測等豐富工具,幫助用戶快速定位解決問題,實現平臺高效管理。
- 良好的文檔支持:提供良好的文檔技術支持,幫助用戶快速上手并解決問題。
-
擴展性和靈活性:
- 組件化設計:TBDS采用組件化設計,用戶可以根據實際需求選擇并組合不同的組件,實現定制化的數據處理和分析解決方案。
- 開放API:提供開放的API接口,方便用戶集成TBDS到已有的IT系統中。
綜上所述,Tencent TBDS是一個功能強大、安全可靠、易用靈活的大數據處理套件,可以幫助企業高效地處理和分析海量數據,提升業務效率和決策水平。