一、客戶背景與業務挑戰

1.1 客戶介紹

鷹角網絡（HYPERGRYPH） 成立于2017年，總部位于上海，是中國知名游戲研發與發行公司，代表產品包括現象級手游《明日方舟》及《泡姆泡姆》《來自星辰》《終末地》等。公司依托阿里云構建數據平臺，支撐游戲運營、社區生態及用戶行為分析等核心業務，數據規模與實時性需求持續增長。

1.2 業務特征

• 目前實時業務主要涉及日志分析，廣告歸因，社區運營，審核等
  • 賬號日志分析：涉及用戶注冊、登錄、訂單等明細數據的查詢。
  • 廣告歸因：探查用戶的新增和回流是否由某條廣告導致。
  • 社區運營：實時流水、新增活躍等統計信息。
  • 審核：黑產、賬號封禁等數據分析。

1.3 原有架構痛點

原有架構是基于ClickHouse構建的實時數倉，存在以下瓶頸：

1. 運維復雜度高：動態擴縮容操作繁瑣，集群穩定性受負載波動影響顯著；
2. 導入性能不足：高頻實時寫入場景下吞吐量受限，難以支撐高QPS需求；
3. 數據一致性風險：分布式表缺乏事務保證，查詢可能因節點延遲導致結果偏差；
4. 計算模型局限：Scatter-Gather架構不支持Shuffle Join等復雜查詢操作；
5. 元數據穩定性差：ZooKeeper維護的元數據在高負載下易引發服務抖動。

二、技術方案設計

2.1 方案目標

構建高性能、高彈性、易運維的實時分析平臺，需要滿足以下業務訴求：

• 實時性：毫秒級查詢響應與秒級數據寫入
• 彈性擴展：動態適配業務流量波動（如游戲開服、活動峰值）
• 穩定性：消除集群負載抖動與數據一致性風險
• 兼容性：無縫銜接現有工具鏈與開發習慣

2.2 架構設計

整體架構圖

實時數倉架構

1. OLTP 源庫
   ? MySQL 等業務數據庫，產生行級變更。
2. Extract（采集）
   ? Debezium / Kafka-Connect 做 CDC，把 Binlog 轉為 事件流。
   ? 寫入 Kafka，完成緩沖與解耦。
3. Transform（實時計算）
   ? Flink 從 Kafka 讀取，進行清洗、JOIN、聚合，生成事實/維度結果流。
4. Load & Query（StarRocks）
   ? StarRocks 負責列式存儲 + 高并發 OLAP 查詢，直接服務 BI、報表、自動查詢工具和 API

三、遷移成效與價值

3.1 技術層面

• 性能提升：
  • 核心查詢響應時間縮短30%以上，復雜廣告歸因分析從分鐘級降至秒級；
  • 高峰期QPS承載能力提升5倍，支撐夏活活動期間百萬級并發請求；
• 穩定性增強：
  • 集群負載波動率降低40%，徹底解決ClickHouse的節點延遲問題；
  • 99.99% SLA保障，故障恢復時間（MTTR）縮短至分鐘級；
• 運維效率：
  • 無感擴縮容操作，開服期間資源伸縮成功率100%；
  • 自動化監控覆蓋主要異常場景，人工干預減少70%。

3.2 財務層面

• 成本優化：
  • 相比ClickHouse集群，同等負載下硬件成本下降22%，CU單價性價比提升顯著；
  • Serverless模式按需付費，避免資源閑置浪費。

3.3 業務層面

• 開發效率提升：
  • MySQL協議兼容性減少適配成本，SQL語法更貼近業務直覺；
  • 內置函數庫覆蓋90%業務場景，UDF開發效率提升50%；
• 生態適配性：
  • 開源社區活躍度高，相比于原有的Clickhouse，StarRocks對于關鍵Bug修復與新特性迭代周期縮短。

四、未來規劃

1. 存算分離架構：探索遷移至存算分離實例，降低冷熱數據存儲成本；歡迎使用存算分
   離版實例
2. 權限管理強化：引入Ranger實現細粒度訪問控制，滿足合規要求；
3. 多模態分析：逐步遷移原有ElasticSearch業務，整合全文檢索與結構化查詢能力。

五、總結

通過與阿里云EMR Serverless StarRocks的深度合作，鷹角網絡成功構建了兼具高性能、高彈性、易運維的實時分析平臺，為游戲業務的精細化運營與用戶洞察提供了堅實支撐。未來，雙方將持續探索技術邊界，推動實時數據價值釋放，助力企業在游戲行業競爭中保持技術領先優勢。

相關文檔：
1. 遷移ClickHouse數據到StarRocks的最佳實踐?

2. 基于EMR Serverless StarRocks構建分鐘級準實時分析

3. 快速使用EMR Serverless StarRocks 存算分離版實例