【活動回顧】StarRocks Singapore Meetup #2 @Shopee

3 月 13 日,StarRocks 社區在新加坡成功舉辦了第二場 Meetup 活動,主題為“Empowering Customer-Facing Analytics”。本次活動在 Shopee 新加坡辦公室舉行,吸引了來自 ShopeeGrabPinterest 的專家講師以及 50 多位參會者。大家圍繞電商、BI 報表和廣告場景中的數據分析挑戰展開了深入探討,并分享了如何利用 StarRocks 為關鍵業務提供更快、更精準的數據分析解決方案。

以下為本次活動的精彩回顧,演講視頻、PPT 及相關用戶案例文章可通過文末鏈接獲取更多信息。

Leveraging Big Data Infra for E-Commerce Online Applications by Shopee

Gong Chen, Senior Expert Engineer(左)

Yan Duan, StarRocks Active Contributor & Senior OLAP Engineer (右)

Gong Chen 分享了 Shopee 如何通過 Data Service Platform 支持電子商務在線應用,每日處理超過 2 億次 OLAP 查詢。由于舊的數據架構無法滿足延遲一致性、高實時性和 SLA 保證等需求,Shopee 引入了 StarRocks,簡化了架構并通過物化視圖進行預計算,顯著提升了性能。目前,平臺已支持 100 多個 API,日均處理 200 萬次查詢,TP95 延遲低至 26 毫秒,支撐了廣告、供應鏈、安全基礎設施和反欺詐等核心業務場景。

Yan Duan 則分享了 Shopee 如何通過優化元數據緩存提升 ad-hoc 集群的查詢性能。通過 Managed table、External table 和虛擬視圖定制緩存策略,Shopee 將查詢計劃時間減少了 50% 以上,并將查詢結果不匹配率從 3.1% 降至 0.9%,同時有效降低了 HMS 的壓力。

StarRocks @ Grab

Gable Heng, Lead Data Engineer, Grab(左)

Huong Vuong, Senior Software Engineer, Grab(右)

Grab 是東南亞領先的超級應用平臺,業務涵蓋出行、外賣、配送、數字支付和金融服務等領域。Gable Heng 分享了 Grab 如何利用 StarRocks 優化交互式查詢和 BI 報表場景。通過引入 StarRocks 的 Query Cache、異步物化視圖和多 FE 節點等特性,Grab 將圖表報表從平均 11.8 秒提升至 0.456 秒,性能提升了 25 倍。

Huong Vuong 則介紹了 Grab 如何通過 StarRocks 改進 Spark 任務的可觀測性工具 Iris。StarRocks 解決了 TIG 棧(Telegraf、InfluxDB、Grafana)在處理高基數數據和復雜元數據時的性能瓶頸,并通過物化視圖和動態分區功能簡化了數據聚合和管理,顯著提升了近實時數據的可用性。

How Pinterest Delivers Fast Customer-Facing Analytics

(Zhenxiao Luo, Senior Staff Software Engineer,Pintrest)

Zhenxiao Luo 分享了 Pinterest 如何通過引入 StarRocks 替代傳統的 Apache Druid,解決了 JOIN、物化視圖和實時更新等功能的缺失問題。StarRocks 提供了完整的 SQL 支持、列式存儲和向量化執行,顯著提升了查詢性能,并將實時數據分析的延遲降低了 50%。通過存算分離模式和 Archmage 集成,Pinterest 實現了更高效的數據處理,同時降低了成本,支持了廣告報表、實驗分析和反垃圾平臺(anti-spam)等關鍵業務場景。

由于這段視頻現場視頻的收音效果不理想,我們最終采用了 Zhenxiao 老師此前在線上直播分享的視頻片段。值得一提的是,在分享開始前,Zhenxiao 老師還與我們分享了他第一次到新加坡的激動心情。為了這次活動,他特意從加州飛了 17 個小時抵達新加坡(幾乎是直飛的最遠距離之一)。盡管旅途漫長,但他的分享熱情絲毫未減,為活動增添了不少亮點。

Query Resilience: Achieving Low Latency with SLA

(Harrison Zhao, StarRocks TSC Member)

Harrison Zhao 作為產品負責人,分享了 StarRocks 在低延遲和高可用性方面的優化。他提到,穩定的低延遲對于用戶體驗、業務決策和客戶信任至關重要。StarRocks 通過優化查詢性能(如 poller-free 架構、runtime filter 下推)和確保緩存穩定性(如主動緩存預熱、分段 LRU),能夠在面對工作負載變化和基礎設施故障時保持高可用性。智能工作負載管理和查詢計劃穩定性進一步幫助系統在滿足嚴格 SLA 的同時,提供高效、可靠的實時分析服務。

活動現場花絮:

以上就是本次新加坡 Meetup 的精彩內容回顧。未來,StarRocks 將持續分享更多來自國內外用戶的實踐故事與經驗。我們也誠摯邀請更多技術專家加入我們的講師團隊,共同將技術干貨分享給更多大數據行業的從業者!

相關鏈接:

🔽 PPT 下載:https://forum.mirrorship.cn/t/topic/18005

📺 視頻:https://space.bilibili.com/1273141509/lists/3059098?type=season

📚 文章:

StarRocks 在 Shopee 數據產品的實踐

Pinterest:從 Druid 到 StarRocks,實現 6 倍成本效益比提升

https://engineering.grab.com/building-a-spark-observability

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/75839.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/75839.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/75839.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Retinexformer:基于 Retinex 的單階段 Transformer 低光照圖像增強方法

開頭發點牢騷:本來做的好好都都要中期了,導師怎么突然給我換題目啊。真是繃不住了......又要從頭開始學了,唉! 原論文鏈接:Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement 低光…

后端——AOP異步日志

需求分析 在SpringBoot系統中,一般會對訪問系統的請求做日志記錄的需求,確保系統的安全維護以及查看接口的調用情況,可以使用AOP對controller層的接口進行增強,作日志記錄。日志保存在數據庫當中,為了避免影響接口的響…

flink廣播算子Broadcast

文章目錄 一、Broadcast二、代碼示例三.或者第二種(只讀取一個csv文件到廣播內存中)提示:以下是本篇文章正文內容,下面案例可供參考 一、Broadcast 為了關聯一個非廣播流(keyed 或者 non-keyed)與一個廣播流(BroadcastStream),我們可以調用非廣播流的方法 connect(),…

Redis 和 MySQL雙寫一致性的更新策略有哪些?常見面試題深度解答。

目錄 一. 業務數據查詢,更新順序簡要分析 二. 更新數據庫、查詢數據庫、更新緩存、查詢緩存耗時對比 2.1 更新數據庫(最慢) 2.2 查詢數據庫(較慢) 2.3 更新緩存(次快) 2.4 查詢緩存&#…

SRT協議

SRT(Secure Reliable Transport)是一種開源的視頻傳輸協議,專為高丟包、高延遲網絡環境設計,結合了UDP的低延遲和TCP的可靠性,廣泛應用于直播、遠程制作、視頻會議等場景。 定位:SRT協議的官方C/C實現庫&am…

“征服HTML引號惡魔:“完全解析手冊”!!!(quot;表示雙引號)

&#x1f6a8;&#x1f4e2; "征服HTML引號惡魔&#xff1a;“完全解析手冊” &#x1f4e2;&#x1f6a8; &#x1f3af; 博客引言&#xff1a;當引號變成"惡魔" &#x1f631; 是否遇到過這種情況&#xff1a; 寫HTML時滿心歡喜輸入<div title"他…

npm install 卡在創建項目:sill idealTree buildDeps

參考&#xff1a; https://blog.csdn.net/PengXing_Huang/article/details/136460133 或者再執行 npm install -g cnpm --registryhttps://registry.npm.taobao.org 或者換梯子

c++中cpp文件從編譯到執行的過程

C 文件從編寫到執行的過程可以分為幾個主要階段&#xff1a;編寫代碼、預處理、編譯、匯編、鏈接和運行。以下是每個階段的詳細說明&#xff1a; 1. 編寫代碼 這是整個過程的起點。程序員使用文本編輯器&#xff08;如 VSCode、Sublime Text 或其他 IDE&#xff09;編寫 C 源…

PROE 與 STL 格式轉換:開啟 3D 打印及多元應用的大門

在 3D 設計與制造的復雜生態中&#xff0c;將 PROE 格式轉換為 STL 格式絕非無端之舉&#xff0c;而是有著深厚且多元的現實需求作為支撐。 一、文件格式介紹? &#xff08;一&#xff09;PROE 格式? PROE 作為一款參數化設計軟件&#xff0c;采用基于特征的參數化建模技術…

開發中后端返回下劃線數據,要不要統一轉駝峰?

先說結論。看情況&#xff01;&#xff01;&#xff01;&#xff01; 前端 主要用 JS/TS 建議后端返回 camelCase&#xff0c;減少前端轉換成本。后端 主要是 Python/Go 建議保持 snake_case&#xff0c;前端做轉換。但是團隊統一風格最重要&#xff01;如果統一返回駝峰就駝峰…

docker pull時報錯:https://registry-1.docker.io/v2/

原文&#xff1a;https://www.cnblogs.com/sdgtxuyong/p/18647915 https://www.cnblogs.com/OneSeting/p/18532166 docker 換源&#xff0c;解決連接不上的問題。 編輯以下文件&#xff0c;不存在則創建&#xff1a; vim /etc/docker/daemon.json {"registry-mirrors&qu…

Pytorch學習筆記(十二)Learning PyTorch - NLP from Scratch

這篇博客瞄準的是 pytorch 官方教程中 Learning PyTorch 章節的 NLP from Scratch 部分。 官網鏈接&#xff1a;https://pytorch.org/tutorials/intermediate/nlp_from_scratch_index.html 完整網盤鏈接: https://pan.baidu.com/s/1L9PVZ-KRDGVER-AJnXOvlQ?pwdaa2m 提取碼: …

基礎算法02——冒泡排序(Bubble Sort)

冒泡排序&#xff08;Bubble Sort&#xff09; 冒泡排序&#xff1a;是一種簡單的排序算法&#xff0c;其基本思想是通過重復遍歷要排序的列表&#xff0c;比較相鄰的元素&#xff0c;并在必要時&#xff08;即前面的數比后面的數大的時候&#xff09;交換它們的位置&#xff…

RestTemplate遠程調用接口方式

1.Post(body空參) 也就是說需要給一個空的json 代碼: String getDeviceUrl this.MOVABLE_URL "detected-data/getMachineLists"; // 遠程調用 RestTemplate restTemplate new RestTemplate(); restTemplate.getMessageConverters().set(1,new StringHttpMessageC…

ar頭顯和眼鏡圖像特效處理

使用一個線程從攝像頭或者其他設備循環讀取圖像數據寫入鏈表&#xff0c;另一個線程從鏈表循環讀取數據并做相應的特效處理&#xff0c;由于寫入的速度比讀取的快&#xff0c;最終必然會因為寫入過快導致線程讀寫一幀而引發沖突和數據幀正常數據幀被覆蓋。最好使用共享內存&…

mysql--socket報錯

錯誤原因分析 MySQL 服務未運行&#xff08;最常見原因&#xff09; 錯誤中的 (2) 表示 “No such file or directory”&#xff0c;即 /tmp/mysql.sock 不存在這通常意味著 MySQL 服務器根本沒有啟動 socket 文件路徑不匹配 客戶端嘗試連接 /tmp/mysql.sock但 MySQL 服務器可…

labview加載matlab數據時報錯提示:對象引用句柄無效。

1. labview報錯提示 labview加載mat數據時報錯提示&#xff1a;對象引用句柄無效。返回該引用句柄的節點可能遇到錯誤&#xff0c;并沒有返回有效的引用句柄。該引用句柄所指的存儲可能在執行調用之前已關閉。報錯提示如下&#xff1a; 這是由于labview缺少matlab MathWorks導…

面試計算機操作系統解析(一中)

判斷 1. 一般來說&#xff0c;先進先出頁面置換算法比最近最少使用頁面置換算法有較少的缺頁率。&#xff08;?&#xff09; 正確答案&#xff1a;錯誤解釋&#xff1a;FIFO&#xff08;先進先出&#xff09;頁面置換算法可能導致“Belady異常”&#xff0c;即頁面數增加反而…

如何防御TCP洪泛攻擊

TCP洪泛攻擊&#xff08;TCP Flood Attack&#xff09;是一種常見的分布式拒絕服務&#xff08;DDoS&#xff09;攻擊手段&#xff0c;以下是其原理、攻擊方式和危害的詳細介紹&#xff1a; 定義與原理 TCP洪泛攻擊利用了TCP協議的三次握手過程。在正常的TCP連接建立過程中&a…

20250330 Pyflink with Paimon

1. 數據湖 2. 本地安裝Pyflink和Paimon 必須安裝Python 3.11 Pip install python -m pip install apache-flink1.20.1 需要手動加入這兩個jar 測試代碼&#xff1a; import argparse import logging import sys import timefrom pyflink.common import Row from pyflink.tab…