作者：四牛

前言

云消息隊列?Kafka?版?Serverless?系列憑借其秒級彈性擴展、按需付費、輕運維的優勢，助力嘉銀科技業務系統實現靈活擴縮容，在業務效率和成本優化上持續取得突破，保證服務的敏捷性和穩定性，并節省超過?20%?的成本。

客戶介紹

嘉銀科技是一家專注于科技驅動普惠金融的上市企業，在多年的發展過程中，始終堅持以技術為核心推動業務迭代，公司致力于以大數據、云計算、人工智能等技術在消費場景內連接消費者與金融機構，讓每位用戶都能享受到高效便捷的科技服務，同時助力金融機構業務高速增長。

應用上云

隨著業務規模的不斷擴大，嘉銀科技對底層技術平臺的可擴展性、穩定性和運維便捷性提出了更高要求，2024?年初啟動了整體應用遷移上云的進程，嘉銀科技技術團隊經過多方技術論證及產品選型，最終選擇阿里云作為云服務提供商。阿里云和嘉銀科技的技術團隊共同組建上云項目組，制定上云技術方案和實施步驟。

自建 Kafka遷移上云

伴隨著應用從?IDC?遷移上云，應用所依賴的中間件服務也逐步遷移到云上更加穩定成熟的?PaaS?產品，其中?Kafka?就是在此次遷云過程中完成了技術升級，由開源自建?Kafka?集群遷移到阿里云消息隊列?Kafka?版?V3?集群，大大提升了應用系統的穩定可靠及彈性能力。

下圖展示了嘉銀科技的?Kafka?架構遷移至云端前后的對比。左側為遷移前的開源自建?Kafka?架構，右側為遷移至阿里云消息隊列?Kafka?版?v3?后的架構。

云上 Kafka 技術優勢

阿里云消息團隊在技術上持續投入，迭代升級云消息隊列?Kafka?版產品的核心技術架構，其?Serverless?系列實現了真正意義上的存算分離，存儲層基于云重新設計，這也是絕大部分商業化消息產品的重點投入方向，難點在于實現徹底分離，解決成本和性能的矛盾，同時保證計算彈性的輕量和擴容的可靠。

阿里云消息隊列 Kafka 版 Serverless 系列以其卓越的彈性能力，為嘉銀科技提供了高效的資源管理和業務連續性保障。

• 自適應彈性：云消息隊列 Kafka 版 Serverless 系列在 20 MB/秒 ~ 1 GB/秒支持無感彈性；1 GB/秒 ~ 3 GB/秒支持秒級彈性；3 GB/秒以上支持分鐘級彈性。客戶可以依據業務流量的趨勢，通過彈性能力實現成本與性能的平衡，從容且高效地應對突發流量高峰。
• 秒級定時彈性：對于超大規模集群，云消息隊列?Kafka?版?Serverless?系列支持脈沖的定時彈性，允許預設彈性策略，在流量高峰期預留足夠資源確保關鍵業務的持續性和穩定性，在低峰期則減少資源使用以節約成本，不僅提升了資源利用率，還降低了運維復雜度。
• 高可用、高可靠：開源?Kafka?通過?ISR?機制實現服務高可用和數據高可靠，但計算和存儲混雜，副本機制復雜度高，問題排查難度大。阿里云消息隊列?Kafka?版?V3?基于存算分離架構，實現各計算節點無狀態且共享存儲，不僅降低了復雜度，還提高了可運維性。計算節點高可用基于自研輕量?Leader?切換機制實現，在穩定提供讀寫服務的同時又能優雅輕便地?Leader?轉移，是云消息隊列?Kafka?版高效彈縮的核心底座。云消息隊列?Kafka?版在存儲層面基于阿里云飛天盤古?DFS，支持跨數據中心容災，提供百微秒級平均延遲、毫秒級長尾延遲，數據可靠性?12?個?9，可用性?5?個?9。因此，遷移后的架構可靠性和可用性都得到了顯著的提升。
• 高性能：采用 OpenMessaging Benchmark Framework 對云消息隊列 Kafka 版 V3 和 Apache Kafka 3.3 進行攢批發送與碎片化發送場景下的吞吐延遲對比測試，測試結果顯示，在攢批發送與碎片化發送場景下，云消息隊列 Kafka 版 V3 在 TP999 的延遲表現整體均優于 Apache Kafka，并且隨著吞吐的增加，這種性能優勢更加明顯，碎片化發送場景快 10 倍。
• 成本優化：云消息隊列?Kafka?團隊有長時間研發和運維經歷，積累了大量的實戰經驗。結合嘉銀科技的業務模型，提供?Kafka?最佳實踐，客戶端和服務端都有?20%?的成本優化，避免不必要的開支。同時，制定容災方案防止數據丟失或服務中斷。

業務價值

高穩定架構，為業務保駕護航：云消息隊列?Kafka?版憑借高吞吐與分布式架構，滿足了嘉銀科技的實時數據收集、傳輸和高并發消息傳遞的需求。通過持久化能力與副本機制，進一步確保了數據可靠性和業務連續性。即使在高負載情況下也能穩定傳遞消息，防止數據丟失，維護數據完整性，從而保障了嘉銀科技大數據平臺的高效運行。

靈活資源管理，優化成本效益：云消息隊列?Kafka?版?Serverless?系列采用存算分離架構，并結合動態資源調整策略，能夠根據實時業務負載自動進行彈性伸縮，實現按量計費，無需預先估算和配置實例規格。不僅降低了嘉銀科技運維人員工作的復雜度，還顯著降低了資源使用成本。