OceanBase《DB 大咖說》第 15 期,我們邀請到了中原銀行金融科技部數據團隊負責人,呂春雷。本文為本期大咖說的精選。
呂春雷是一位資歷深厚的數據庫專家,從傳統制造企業、IT企業、甲骨文公司到中原銀行,他在數據庫技術與運維管理方面積累了豐富經驗,這些經驗在帶領中原銀行數據庫團隊從傳統數據庫向原生分布式數據庫平穩升級的過程中起到了至關重要的作用。
呂春雷認為,要在DBA的職業道路上持續進步,首要的是對數據庫懷有源自心底的熱愛與興趣,這是推動DBA不斷前行的永恒動力;其次,需保持堅持不懈的學習態度,它如同登山者的拐杖,幫助DBA不斷超越自我;最后,還需具備對生產環境的深切敬畏,這份敬畏能確保DBA對工作保持高度的責任心。
呂春雷正是將這三點貫穿在自己的工作中。在中原銀行的數據庫升級過程中,呂春雷是主要的技術負責人。他主導了中原銀行從“小機+傳統數據庫”升級為“OceanBase+通用服務器”的遷移過程,目前已經完成了 30 多套系統的上線,初戰告捷。本期《DB 大咖說》,呂春雷老師將分享中原銀行如何順利完成這一數據庫升級,幫助銀行實現從封閉架構轉向開放架構。
中原地區是華夏文明的發源地和經濟中心,孕育了開封、洛陽、安陽等古都的輝煌歷史,在中國文明版圖中擁有超然的地位。
中原銀行就誕生在這樣一片土地上。中原銀行是河南省屬城市商業銀行,成立于 2014 年 12 月,擁有 18 家分行,2017 年 7 月在香港聯交所主板掛牌上市,目前全行總資產突破 1.3 萬億、員工人數近 2 萬名。
2021 年年底,中原銀行正式啟動傳統數據庫升級,目前,已經先后將 30 多套 MySQL、Oracle 數據庫上的應用系統成功升級到 OceanBase數據庫之上,為中原銀行通過數據洞察客戶、市場、業務,指導日常經營管理決策發揮了關鍵支撐作用。
一、業務面臨挑戰,數據庫亟待升級
升級之前,中原銀行的數據庫主要以 MySQL、Oracle 數據庫為主,均屬于傳統集中式數據庫。這些系統雖曾穩固支撐銀行業務,但隨著中原銀行金融業務的成長,IT 系統交易并發量和數據量不斷增長,傳統集中式數據庫無法快速擴展來滿足系統對性能、容量的需求,迫切需要具備高擴展、高性能等關鍵特性的數據庫支撐業務持續發展。?
同時,為了支撐中原銀行的數字化轉型戰略,微服務和分布式架構先后得到了快速應用,基礎軟件如分布式中間件、分析型分布式數據庫在行內均已部署,面向交易類的集中式數據庫也已經成為轉型瓶頸。
而成本也是此次數據庫升級的一個驅動力。此前的信息系統數據庫采用“小型機+集中存儲+ Oracle ”模式,IT 運營成本長期居高不下,且近年來部分重要信息系統面臨重構,亟需在兼顧基礎設施成本前提下,提高重構后系統整體的處理能力。
另外,數據庫作為關鍵基礎軟件之一,中原銀行還需要在保證系統穩定運行前提下加快國產數據庫升級進程,提高 IT 基礎設施自主掌控能力。?
基于上述原因,2020 年 12 月,中原銀行啟動了新一代數據庫選型工作,呂春雷作為中原銀行數據庫團隊負責人,重點負責本次數據庫選型。
多年負責數據庫運維工作的呂春雷深知其中的挑戰。過去這些年,銀行先后上線了大量的系統,應用類型復雜,包括自研類、外采類,還有為銀行量身定制的系統,這些系統來自不同開發商,開發習慣和代碼質量存在顯著差異,導致升級工作非常復雜。
“雖然銀行有統一的開發規范和要求,但由于各開發商的能力及代碼水平的不同,系統改造和數據庫升級工作復雜度較高。特別是對于那些深度使用 Oracle 數據庫特性的系統,可能涉及大量復雜 SQL 語句改寫,這就更需要數據庫原廠的大力支持。”呂春雷說。
此外,對于深度綁定 Oracle 特性的系統改造,中原銀行需要在保證系統穩定運行的前提下,探索成本更低的解決方案,以實現業務的可持續發展。
二、6 大項、79 小項測試,敲定 OceanBase
根據中原銀行信息系統建設需求,結合中國人民銀行的《分布式數據庫技術金融應用規范技術架構》以及同業的選型經驗,中原銀行總結了選擇數據庫的核心要求:具備高穩定性、高可用、擴展性、運維性、高性能、兼容性六大特性,同時兼顧綜合成本、工具平臺和生態發展。
“其中,穩定性和高可用是我們最為看重的兩大要求。金融業務穩定是前提,特別是在出現故障時,比如機房級故障或者服務器級故障,必須有自愈機制,這樣對應用的影響才會相對最小。”呂春雷說。
其次是擴展性,需要有在線橫向添加或刪除節點的能力,以提高數據庫性能、容量能力。呂春雷解釋,擴展能力是考慮選擇分布式數據庫的重要原因之一。過去中原銀行部署了 Oracle RAC,雖然可以通過擴容來提升存儲和計算資源,但 Share everything 架構決定了 IO 處理能力無法有效擴展。
根據數據庫的選型要求,中原銀行對國內領先的數據庫產品開展了全方位測評工作,包括基礎能力測試、性能測試、高可用能力、運維能力測試、兼容性測試、安全能力測試共 6 大項、79 小項的 POC 測試工作。在這場激烈的角逐中,OceanBase 憑借其在性能、高可用、運維效率等方面的良好表現脫穎而出,成為中原銀行的最終選擇。
“OceanBase 不僅在性能、高可用、運維性等方面充分滿足我們的需求。同時,在總體使用成本方面也具有優勢。綜合評定之后,我們最終選定了它。”呂春雷表示。
除此外,呂春雷還提到中原銀行非常看重的若干特性。如高度兼容 Oracle 和 MySQL,并提供自動遷移工具,支持遷移評估和反向同步以保障數據遷移安全,可支撐行業核心場景升級。此外 OceanBase 的透明水平擴展能力,讓業務輕松實現擴縮容,其準內存處理架構助力系統保持高性能,保證最高能支持數千節點集群,單表行數輕松突破萬億級。
三、規范先行,技術賦能,國產升級邁進一大步
數據庫選型只是數據庫升級的第一步,數據的遷移和業務系統的重新上線才是項目組面臨的真正考驗。為此,中原銀行制訂了周密的數據庫遷移計劃,大體分為系統選擇、改造分析、代碼改造、測試、上線、分析總結等 6 個步驟。
選擇系統是第一步。呂春雷介紹,“我們認為,越是重要的信息系統面臨安全性威脅風險越高,國產升級的緊迫性就更強。因此,在信息系統選擇時,中原銀行優先選擇重要的業務系統,且并發需求較高的系統,比如面向互聯網類系統、渠道類系統等。”
在確定升級的信息系統之后,第二步是細致入微的評估工作。這項工作聚焦于 Oracle 特有語法的識別與適配,然后進行針對性改造。借助 OceanBase 遷移評估工具(OMA)進行全方位采集分析和評估診斷,全面掃描 SQL 語法、表結構及數據庫對象,精準判斷改造要點,簡化改造流程。
在完成代碼的修改之后,需要按照要求完成各類測試和上線前演練,這項工作會反復進行直到滿足上線要求后方可準備正式上線。
正式上線分為兩個階段,第一階段是數據遷移,第二階段是數據校驗。這部分工作借助 OceanBase 數據遷移工具(OMS)完成,它能實現全量+增量+分批校驗+反向回寫,完成遷移、校驗和反寫整個遷移過程。
“金融行業所有變更都必須具備可回退的能力,因而非常看重反向回寫功能,OMS 在整個遷移的鏈路中能自動完成數據類型轉換、自動完成反向回寫,讓整個遷移過程非常順暢。”呂春雷說。
完成數據庫的國產升級之后,還需要對系統性能進行監控和性能跟蹤。雖然在正式上線之前已經做了充分的測試,但依然可能出現各種突發問題,比如性能抖動等問題。
呂春雷介紹,OceanBase 運維管理工具(OCP)給這項工作帶來了很多方便,OCP 可以對性能較差的 SQL 先進行限流,然后通過 hint 方式改變和綁定執行計劃,保障信息系統快速恢復后再進行根因分析。
當 OceanBase 正式上線之后,總結復盤的工作非常必要,包括上線前后性能和容量使用情況,以及上線過程中存在哪些問題、如何解決的,是否需要把對應的注意事項添加到規范中。呂春雷說,雖然每次上線都會做非常周密的準備,但上線后還是會出現一些突發的問題,借助 OceanBase 交付團隊的大力支持,最終問題都得到了圓滿高效解決。
不過,他希望以后中原銀行的數據庫團隊能獨立解決問題。他說:“我們的要求是自己能做的盡量自己做,盡早具備自主運維能力,這樣才算是真正的自主掌控。”
四、穩定運行近 2 年,各項收益顯著
中原銀行從 2021 年 12 月立項進行國產數據庫升級,到 2022 年 11 月全棧國產 OceanBase 集群在中原銀行正式上線,手機銀行等業務投入使用,后來信貸系統、網聯支付、支付系統等先后陸續上線,這期間還完成生產同城雙中心集群切換演練。
截至目前,OceanBase 以其卓越的性能與穩定性承載中原銀行 30 余套信息系統的重任,其中重要信息系統占比高達 80%以上。這一成績不僅是技術實力的展現,也是中原銀行數字化轉型決心的有力證明。
隨著越來越多的信息系統,尤其是眾多關鍵業務系統遷移到 OceanBase 后,各項收益也開始逐漸顯現。
第一,性能。信息系統遷移至 OceanBase 數據庫后,性能不低于升級之前。“考慮到之前的數據庫是專有且昂貴的硬件設備,而現在的只是通用服務器,能保持性能一致其實已經是一個很大的進步。”呂春雷解釋說。
第二,成本。中原銀行原來使用的是”小型機+集中存儲+Oracle”的組合,現在用的是通用服務器,較傳統架構具備成本優勢。成本下降還體現在資源的高效利用上。現在 OceanBase 可以通過在不同的資源池之間靈活調配實現快速擴縮容,而無需重要業務系統長期分配高水位硬件資源。
第三,運維效率。由于 OCP 提供了豐富的功能使得運維效率大幅提升。比如,現在進行生產系統的同城主備集群切換可以一鍵完成,6 秒就可以完成切換。這和集中式數據庫形成鮮明對比;OceanBase 支持多租戶,在一個集群里可以同時有 MySQL 租戶和 Oracle 租戶,可以采用統一的標準進行監控和管控。
第四,穩定性。OceanBase 上線以來,運行相對比較平穩,即便面對服務器突發故障,也能迅速恢復,有力確保業務系統連續性不受影響,真正實現了業務對故障無感。
回顧這幾年的工作,呂春雷表示,近年來在數據庫升級和數據庫運維中積累的經驗非常重要。隨著國產升級浪潮的大步推進,中原銀行的國產升級進程將顯著加快,這些寶貴經驗將幫助中原銀行更為順利地完成國產升級工作。
他表示,接下來中原銀行將推進更多系統向 OceanBase 的遷移,同時,他們還在探索如何更好地使用 OceanBase 的新特性,充分挖掘其潛能,幫助中原銀行實現更大的業務價值。比如使用 OceanBase 的 HTAP 等功能、承接部分輕量級 AP 業務。
五、寫在最后
在當今這個 AI 大爆發、數據已經成為企業核心競爭力的時代,金融行業新一輪角逐已經展開。為了新一輪的變革,致力于成為一流城商行的中原銀行一直在倡導“數據驅動的文化”,擁有高性能與高穩定性的 OceanBase 、及其豐富的周邊工具正助力中原銀行信息系統更好地服務業務目標,承擔社會責任,助力中原銀行的業務進一步高質量發展。
特別感謝林春對本期《DB 大咖說》的支持。林春老師是中國太平洋保險數智研究院首席數據庫專家,有著豐富的金融核心系統數據庫升級替換經驗,也是DB 大咖說欄目的第二=三期嘉賓,可移步《中國太保:先難后易,核心系統的數據庫升級實踐 | OceanBase 《DB大咖說》(三)》進一步了解中國太保的數據庫升級實踐。