3 月 13 日,StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動,主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行,吸引了來自 Shopee、Grab 和 Pinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討,并分享了如何利用 StarRocks 為關鍵業務提供更快、更精準的數據分析解決方案。
以下為本次活動的精彩回顧,演講視頻、PPT 及相關用戶案例文章可通過文末鏈接獲取更多信息。
Leveraging Big Data Infra for E-Commerce Online Applications by Shopee
Gong Chen, Senior Expert Engineer(左)
Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)
Gong Chen 分享了 Shopee 如何通過 Data Service Platform 支持電子商務在線應用,每日處理超過 2 億次 OLAP 查詢。由于舊的數據架構無法滿足延遲一致性、高實時性和 SLA 保證等需求,Shopee 引入了 StarRocks,簡化了架構并通過物化視圖進行預計算,顯著提升了性能。目前,平臺已支持 100 多個 API,日均處理 200 萬次查詢,TP95 延遲低至 26 毫秒,支撐了廣告、供應鏈、安全基礎設施和反欺詐等核心業務場景。
Yan Duan 則分享了 Shopee 如何通過優化元數據緩存提升 ad-hoc 集群的查詢性能。通過 Managed table、External table 和虛擬視圖定制緩存策略,Shopee 將查詢計劃時間減少了 50% 以上,并將查詢結果不匹配率從 3.1% 降至 0.9%,同時有效降低了 HMS 的壓力。
StarRocks @ Grab
Gable Heng, Lead Data Engineer, Grab(左)
Huong Vuong, Senior Software Engineer, Grab(右)
Grab 是東南亞領先的超級應用平臺,業務涵蓋出行、外賣、配送、數字支付和金融服務等領域。Gable Heng 分享了 Grab 如何利用 StarRocks 優化交互式查詢和 BI 報表場景。通過引入 StarRocks 的 Query Cache、異步物化視圖和多 FE 節點等特性,Grab 將圖表報表從平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。
Huong Vuong 則介紹了 Grab 如何通過 StarRocks 改進 Spark 任務的可觀測性工具 Iris。StarRocks 解決了 TIG 棧(Telegraf、InfluxDB、Grafana)在處理高基數數據和復雜元數據時的性能瓶頸,并通過物化視圖和動態分區功能簡化了數據聚合和管理,顯著提升了近實時數據的可用性。
How Pinterest Delivers Fast Customer-Facing Analytics
(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)
Zhenxiao Luo 分享了 Pinterest 如何通過引入 StarRocks 替代傳統的 Apache Druid,解決了 JOIN、物化視圖和實時更新等功能的缺失問題。StarRocks 提供了完整的 SQL 支持、列式存儲和向量化執行,顯著提升了查詢性能,并將實時數據分析的延遲降低了 50%。通過存算分離模式和 Archmage 集成,Pinterest 實現了更高效的數據處理,同時降低了成本,支持了廣告報表、實驗分析和反垃圾平臺(anti-spam)等關鍵業務場景。
由于這段視頻現場視頻的收音效果不理想,我們最終采用了 Zhenxiao 老師此前在線上直播分享的視頻片段。值得一提的是,在分享開始前,Zhenxiao 老師還與我們分享了他第一次到新加坡的激動心情。為了這次活動,他特意從加州飛了 17 個小時抵達新加坡(幾乎是直飛的最遠距離之一)。盡管旅途漫長,但他的分享熱情絲毫未減,為活動增添了不少亮點。
Query Resilience: Achieving Low Latency with SLA
(Harrison Zhao, StarRocks TSC Member)
Harrison Zhao 作為產品負責人,分享了 StarRocks 在低延遲和高可用性方面的優化。他提到,穩定的低延遲對于用戶體驗、業務決策和客戶信任至關重要。StarRocks 通過優化查詢性能(如 poller-free 架構、runtime filter 下推)和確保緩存穩定性(如主動緩存預熱、分段 LRU),能夠在面對工作負載變化和基礎設施故障時保持高可用性。智能工作負載管理和查詢計劃穩定性進一步幫助系統在滿足嚴格 SLA 的同時,提供高效、可靠的實時分析服務。
活動現場花絮:
以上就是本次新加坡 Meetup 的精彩內容回顧。未來,StarRocks 將持續分享更多來自國內外用戶的實踐故事與經驗。我們也誠摯邀請更多技術專家加入我們的講師團隊,共同將技術干貨分享給更多大數據行業的從業者!
相關鏈接:
🔽 PPT 下載:https://forum.mirrorship.cn/t/topic/18005
📺 視頻:https://space.bilibili.com/1273141509/lists/3059098?type=season
📚 文章:
StarRocks 在 Shopee 數據產品的實踐
Pinterest:從 Druid 到 StarRocks,實現 6 倍成本效益比提升
https://engineering.grab.com/building-a-spark-observability