20250419-作?
題目
分布式是指將一個系統或任務分解成多個子部分,并在多個計算機或服務器之間進行協同工作的方式。每個子部分都可以在不同的計算機節點上運行,彼此之間通過網絡進行通信和協調。分布式技術在當今互聯網應用中起著重要作用,例如大規模搜索引擎、社交網絡和電子商務平臺等。常見的分布式系統包括分布式數據庫、分布式存儲系統、分布式計算系統等。這些系統通過將數據、計算和功能分散到多個節點上,可以提供更高的性能、可伸縮性和容錯性。分布式系統的設計和實現需要解決一系列挑戰,例如節點之間的通信和同步、數據一致性的維護、負載均衡、故障恢復等。為了解決這些挑戰,通常會使用一些分布式算法和協議,如一致性哈希、Paxos、Raft等。
請圍繞“論分布式設計與實現”論題,依次從以下三個方面進行論述。
① 概要敘述你參與管理和開發的軟件項目以及你在其中承擔的主要工作。
② 請闡述你參與的項目使用了哪些分布式技術,它們的特點是什么?
③ 請結合項目實際,具體闡述你在項目中分布式技術的實踐,以及在實施過程中遇到的問題及解決方案。
摘要
? ? 某省預約掛號系統以下簡稱預約掛號系統,是我司自主研發專門為患者提供一站式、便捷化的醫療服務,該服務集眾多功能與一體,旨為提高醫療服務質量和患者體驗。隨著用戶量的逐年攀升,系統面臨著性能瓶頸和可用性的挑戰,嚴重阻礙了系統服務質量的進一步提升,為了讓系統能持續穩定的運行,我司于2023年3月決定對預約掛號系統進行全面升級工作,計劃一年,投資800萬,我擔任系統架構設計師,主要工作是架構的整體設計。為了提高系統性能和可用性,我們采用了分布式技術,通過反向代理、負載均衡、微服務、分布式緩存、分布式數據庫和分庫分表技術,顯著的提高了系統性能和可用性等核心問題,受到領導和組員的高度認可。
背景
? ? 隨著信息化時代的到來,各大醫院紛紛擁抱線上系統,我司也順應時代的潮流開發了一款醫療系統,該系統集預約掛號、體檢預約、報告查詢和名醫搶號等核心功能于一體,旨提高醫療服務質量和患者體驗,為患者提供一站式、便捷化醫療服務。隨著用戶基數的持續增長,系統面臨著性能瓶頸和可用性的嚴峻挑戰,嚴重阻礙了服務質量的進一步提升,為了讓系統持續穩定的運行下去,我司決定2023年3月對預約掛號系統進行全面升級工作,我擔任系統架構設計師,主要工作涵蓋了系統架構的整體設計、技術棧精準選型和各個核心階段的評審工作。為了提高系統的性能和可用性,我們采用了分布式技術,使用反向代理和負載均衡提高系統的資源利用率和持續性,使用微服務提高系統可維護性和擴展性,使用分布式緩存提高系統查詢數據的性能和可用性,使用分布式數據和分庫分表提高系統的性能和數據的安全性等,完成了系統升級,顯著的提高了系統的性能和可用性,且系統平穩運行至今。
理論
? ? 分布式技術中提供多種技術,接下來描述幾種技術和特點。
? ? 1.反向代理和負載均衡。1)反向代理特點:統一訪問入口、代理服務器等,通過開放端口對外提供服務,并請求后端服務器。2)負載均衡技術特點有,提高服務器的利用率、持續性,通過請求策略訪問服務器集群提高利用率,單節點故障,切換其他正常節點繼續提供服務。
? ? 2.微服務。該技術特點有:輕量級通信、獨立性和服務專一性。1)模塊間采用HTTP協議的輕量級通信方式。2)模塊間獨立設計使模塊的變動影響范圍縮小到相鄰的節點。3)服務專一性,服務只專注業務內的功能。
? ? 3.分布式緩存。該技術特點有:高性能和安全性。1)分布式緩存使用內存存儲數據,對于系統的查詢數據速度較磁盤快。2)數據分布在不同的節點,單個節點當機可使用其他節點備份恢復。
? ? 4.分布式數據庫和分庫分表。1)分布式數據庫有高可用性等特點,數據存儲在不同節點,單節點故障可以靈活切換節點持續提供服務。2)分庫分表技術有高性能等特點,可以通過垂直或水平分割,劃分熱點數據,提高數據的IO處理能力。
實踐
? ? 預約掛號系統開發之初使用的單體架構,業務耦合性很高,且有單點故障、系統處理壓力大等問題,所以我們采用了分布式的技術,使用反向代理、負載均衡、微服務、分布式緩存、分布式數據和分庫分表等技術來設計架構,接下來描述一下在預約掛號系統升級中的應用。
? ? 1.反向代理和負載均衡。在系統復用設計階段,我們參考了老系統的結構,使用Nginx作為系統的反向代理和負載均衡組件,該組件是我見過最穩定組件之一,又因為老系統中在Nginx的反向代理中編寫了防黃牛搶票腳本,所以很適合復用到新系統中,節省開發成本。Nginx負載均衡策略有輪詢、隨機、權重三種策略,我們選擇了根據權重的方式請求后端服務,當節點發生異常,自動切換到正常節點訪問,提高系統的持續性。
? ? 2.微服務。在分析時期,我們把預約掛號整個業務劃分成了機構、用戶、訂單、支付和三方醫院等服務。在設計時期,我們選擇了微服務策略,分別從幾個方面設計服務。1)獨立性方面,采用小團隊開發模式,每個服務對應一個主團隊和一個備團隊,根據不同業務對應不同技術,主要使用SSM框架。2)業務量方面,針對訪問量較高的機構和訂單服務,我們采用自動伸縮的方式來緩解服務器的壓力,使用Docker部署各個微服務并管理伸縮。3)交互方面,內網采用輕量級的HTTP協議溝通方式,外網采用HTTPS的安全請求方式等等。
? ? 3.分布式緩存。對于高頻訪問的數據我們決定使用分布式緩存技術,把緩存數據存儲在不同的區域,提高系統的性能和可用性。例如:機構服務的醫院、科室、醫生等,我們采用ES搜索引擎的專用存儲方式,提高醫院、科室和醫生檢索效率。醫生號源我們采用Redis存儲,當處于搶號時段時,直接與redis交互,號源信息通過異步的消息隊列同步到數據庫中。
? ? 4.分布式數據和分庫分表。數據層的設計,我們采用分布式的數據庫存儲方式,分別存儲在不同云和地點的節點上,即時某云或地點異常,也可秒級切換使用其他云和地點的數據繼續提供服務。我們使用代理組件Cobar,服務直接與代理組件交互,使應用和分布式數據庫解耦,同時解決了分片透明性問題。我們還對數據庫應用了分庫分表技術,根據分析和設計時期對業務劃分多個微服務,數據庫也根據業務劃分成了多個數據庫分別與微服務對應,各個服務和數據庫之間相互獨立,對于表中熱門的數據,我們根據屬性劃分在同一張表中減少連表查詢的性能消耗。
結尾
? ? 經過一年的精打細磨,在2024年3月初正式上線,得益于分布式技術的應用,系統輕松應對搶號時期的萬級請求量和高并發所需的資源問題,目前用戶已經突破千萬,且完成了11個市的500多家醫院的深度對接,得到了組員的贊譽和領導的高度認可。然而,在開發之初,有組員對分布式技術的理解存在偏差,嚴重阻礙了系統進度的推進,我們針對這一問題快速行動,通過組間人員的靈活調配完美解決這一短板。接下來,我們準備對老系統中的數據進行遷移工作,經過了此次項目升級,我們對遷移工作充滿信心,并將以更高的態度和標準完成此次遷移工作。這次分布式技術的成功實施,使我學到了很多技術和經驗,我也會更加努力讓自己在架構師之路上走的更遠。
總結:
1.寫作點控制在3/4個。
2.分析寫出來的特點,實踐部分跟著描述。