系統架構的演變 -----自 羅文浩

轉自:https://my.oschina.net/lwhmdj0823/blog/617713
版權聲明:羅文浩所有
摘要: 一個成熟的大型網站(如淘寶、京東等)的系統架構并不是開始設計就具備完整的高性能、高可用、安全等特性,它總是隨著用戶量的增加,業務功能的擴展逐漸演變完善的,在這個過程中,開發模式、技術架構、設計思想也發生了很大的變化,就連技術人員也從幾個人發展到一個部門甚至一條產品線。所以成熟的系統架構是隨業務擴展而完善出來的,并不是一蹴而就;不同業務特征的系統,會有各自的側重點,例如淘寶,要解決海量的商品信息的搜索、下單、支付,例如騰訊,要解決數億的用戶實時消息傳輸,百度它要處理海量的搜索請求,他們都有各自的業務特性,系統架構也有所不同。盡管如此我們也可以從這些不同的網站背景下,找出其中共用的技術...

一、最開始的網站架構

??? 最初的架構,應用程序、數據庫、文件都部署在一臺服務器上,如圖:

image

二、應用、數據、文件分離

??? 隨著業務的擴展,一臺服務器已經不能滿足性能需求,故將應用程序、數據庫、文件各自部署在獨立的服務器上,并且根據服務器的用途配置不同的硬件,達到最佳的性能效果。

image

三、利用緩存改善網站性能

??? 在硬件優化性能的同時,同時也通過軟件進行性能優化,在大部分的網站系統中,都會利用緩存技術改善系統的性能,使用緩存主要源于熱點數據的存在,大部分網站訪問都遵循28原則(即80%的訪問請求,最終落在20%的數據上),所以我們可以對熱點數據進行緩存,減少這些數據的訪問路徑,提高用戶體驗。

251844453265971

??? 緩存實現常見的方式是本地緩存、分布式緩存。當然還有CDN、反向代理等,這個后面再講。本地緩存,顧名思義是將數據緩存在應用服務器本地,可以存在內存中,也可以存在文件,OSCache就是常用的本地緩存組件。本地緩存的特點是速度快,但因為本地空間有限所以緩存數據量也有限。分布式緩存的特點是,可以緩存海量的數據,并且擴展非常容易,在門戶類網站中常常被使用,速度按理沒有本地緩存快,常用的分布式緩存是Memcached、Redis。

四、使用集群改善應用服務器性能

??? 應用服務器作為網站的入口,會承擔大量的請求,我們往往通過應用服務器集群來分擔請求數。應用服務器前面部署負載均衡服務器調度用戶請求,根據分發策略將請求分發到多個應用服務器節點。

251844471702801

??? 常用的負載均衡技術硬件的有F5,價格比較貴,軟件的有LVS、Nginx、HAProxy。LVS是四層負載均衡,根據目標地址和端口選擇內部服務器,Nginx是七層負載均衡和HAProxy支持四層、七層負載均衡,可以根據報文內容選擇內部服務器,因此LVS分發路徑優于Nginx和HAProxy,性能要高些,而Nginx和HAProxy則更具配置性,如可以用來做動靜分離(根據請求報文特征,選擇靜態資源服務器還是應用服務器)。

五、數據庫讀寫分離和分庫分表

??? 隨著用戶量的增加,數據庫成為最大的瓶頸,改善數據庫性能常用的手段是進行讀寫分離以及分表,讀寫分離顧名思義就是將數據庫分為讀庫和寫庫,通過主備功能實現數據同步。分庫分表則分為水平切分和垂直切分,水平切換則是對一個數據庫特大的表進行拆分,例如用戶表。垂直切分則是根據業務不同來切換,如用戶業務、商品業務相關的表放在不同的數據庫中。

260851219209749

六、使用CDN和反向代理提高網站性能

? 假如我們的服務器都部署在成都的機房,對于四川的用戶來說訪問是較快的,而對于北京的用戶訪問是較慢的,這是由于四川和北京分別屬于電信和聯通的不同發達地區,北京用戶訪問需要通過互聯路由器經過較長的路徑才能訪問到成都的服務器,返回路徑也一樣,所以數據傳輸時間比較長。對于這種情況,常常使用CDN解決,CDN將數據內容緩存到運營商的機房,用戶訪問時先從最近的運營商獲取數據,這樣大大減少了網絡訪問的路徑。比較專業的CDN運營商有藍汛、網宿。

? 而反向代理,則是部署在網站的機房,當用戶請求達到時首先訪問反向代理服務器,反向代理服務器將緩存的數據返回給用戶,如果沒有沒有緩存數據才會繼續走應用服務器獲取,也減少了獲取數據的成本。反向代理有Squid,Nginx。

260851254513595

七、使用分布式文件系統

??? 用戶一天天增加,業務量越來越大,產生的文件越來越多,單臺的文件服務器已經不能滿足需求。需要分布式的文件系統支撐。常用的分布式文件系統有NFS。

260851282647353

八、使用NoSql和搜索引擎

??? 對于海量數據的查詢,我們使用nosql數據庫加上搜索引擎可以達到更好的性能。并不是所有的數據都要放在關系型數據中。常用的NOSQL有mongodb和redis,搜索引擎有lucene。

260851321075527

九、將應用服務器進行業務拆分

??? 隨著業務進一步擴展,應用程序變得非常臃腫,這時我們需要將應用程序進行業務拆分,如百度分為新聞、網頁、圖片等業務。每個業務應用負責相對獨立的業務運作。業務之間通過消息進行通信或者同享數據庫來實現。

260851352481788

?

十、搭建分布式服務

??? 這時我們發現各個業務應用都會使用到一些基本的業務服務,例如用戶服務、訂單服務、支付服務、安全服務,這些服務是支撐各業務應用的基本要素。我們將這些服務抽取出來利用分部式服務框架搭建分布式服務。淘寶的Dubbo是一個不錯的選擇。

260851397174320

小結

??? 大型網站的架構是根據業務需求不斷完善的,根據不同的業務特征會做特定的設計和考慮,本文只是講述一個常規大型網站會涉及的一些技術和手段。?

轉載于:https://www.cnblogs.com/lanlianggui/p/5975959.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/373648.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/373648.shtml
英文地址,請注明出處:http://en.pswp.cn/news/373648.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

前端請求接口post_前端如何優雅地模擬接口請求?(給你的代碼加點小意外)

前言:作為一名前端開發程序猿,每天都被產品經理催著開發,項目一啟動,產品就過來了。噓寒問暖:大胸弟,你啥時開始做啊?一般我們都會直接告訴TA,你先找接口解決數據問題。而我們也會經…

cron表達式詳解

Cron表達式是一個字符串,字符串以5或6個空格隔開,分為6或7個域,每一個域代表一個含義,Cron有如下兩種語法格式: Seconds Minutes Hours DayofMonth Month DayofWeek Year或 Seconds Minutes Hours DayofMonth Month …

將Ehcache添加到Openxava應用程序

介紹 本文介紹如何在Openxava應用程序上快速啟用Ehcache,從而提高性能。 查看實體及其圖時,將加載關系。 添加第二級緩存可加快關聯元素的檢索速度,因為已加載的元素是從緩存而不是數據庫中檢索的。 最終,該頁面解釋了分鐘項目如…

java mongodb 返回所有field_JAVA高級之反射

更多精彩,請點擊上方藍字關注我們!今天跟大家分享JAVA高級之反射的知識。一、什么是反射反射就是把Java類中的各個成分映射成一個個的Java對象。即在運行狀態中,對于任意一個類,都能夠知道這個類的所以屬性和方法;對于…

Linux入門筆記——cal、date、free、clear、history、man、whatis、uname

1、cal 顯示日歷2、date 顯示系統當前的日期和時間3、df查看磁盤剩余空間的數量,常用參數 -h (human)人性化顯示內容4、free顯示空閑內存的數量,常用參數 -h (human)人性化顯示內容5、clear清除控制終端顯示…

使用ASM 4處理Java類文件–第一部分:世界,您好!

什么是ASM :ASM是一個用于處理Java字節碼的開源Java庫。 因此,它具有與Apache BCEL相同的目的。 由于本文假定讀者具有Java類文件格式的某些知識,因此建議在此處進行閱讀。 那么它與BCEL有何不同? 首先,它允許使用事件…

(轉)C#程序開發中經常遇到的10條實用的代碼

原文地址:http://www.cnblogs.com/JamesLi2015/p/3147986.html 1 讀取操作系統和CLR的版本 OperatingSystem os System.Environment.OSVersion; Console.WriteLine(“Platform: {0}”, os.Platform); Console.WriteLine(“Service Pack: {0}”, os.ServicePack); …

Ueditor的配置及使用

Ueditor官網&#xff1a;http://ueditor.baidu.com/website/ &#xff08;項目需要JSP版本&#xff1a;UTF-8版&#xff09; 1.配置 <script type"text/javascript" charset"utf-8">window.UEDITOR_HOME_URL "${ctx}/assets/plugins/uedi…

努比亞z17s刷原生安卓_電腦運行手機APP,不會沒關系,我推薦你使用顯卡服務器運行安卓模擬器...

很多人都想用電腦端運行手機APP&#xff0c;但是又不知道怎么操作。縱橫170yun小編推薦大家使用顯卡服務器&#xff0c;在顯卡服務器上運行安卓模擬器。讓你輕輕松松在電腦端運行手機APP&#xff0c;甚至還可以多開噢 。如果你的電腦沒有顯卡&#xff0c;也沒有關系&#xff0c…

Linux入門筆記——系統目錄結構

目錄 評論 / 根目錄&#xff0c;萬物起源。 /bin 包含系統啟動和運行所必須的二進制程序。 /boot 包含 Linux 內核&#xff0c;最初的 RAM 磁盤映像&#xff08;系統啟動時&#xff0c;由驅動程序所需&#xff09;&#xff0c;和 啟動加載程序。 有趣的文件&#xff1a; /boot/…

線程故事:關于健壯的線程池

我的主題系列的另一個博客。 這次是關于線程池&#xff0c;尤其是可靠的線程池設置。 在Java中&#xff0c;線程池由Java 5中引入的ThreadPoolExecutor類實現。該類的Javadoc組織得很好。 因此&#xff0c;我不遺余力地在此處進行概述。 基本上&#xff0c; ThreadPoolExecutor…

css縮寫

顏色&#xff1a; 16進制的色彩值為六位數&#xff0c;如果每兩位的值相同&#xff0c;可以縮寫一半。 如&#xff1a;#000000#000&#xff1b; #223344#234&#xff1b; 盒子的尺寸&#xff1a; 如margin:value; 一個值表示所有邊&#xff0c;兩個值表示上下&#xff0c;左右&…

win10改成ubundu主題_如何將ubuntu引導win10,修改為win10引導ubuntu

、首先用LiveCD進入ubuntu2、打開終端&#xff0c;輸入&#xff1a;fdisk -l 查看自己linux的分區情況&#xff0c;我的分了4個區&#xff0c;swap&#xff0c;boot&#xff0c;/&#xff0c;home&#xff0c;對應的分別是&#xff1a;/dev/sda9 swap/dev/sda10 boot/dev/sda11…

Linux入門筆記——文件操作命令1

pwd Print name of current working directory&#xff08;打印出當前工作目錄名&#xff09; cd Change directory&#xff08;更改目錄&#xff09;例子&#xff1a;cd 更改工作目錄到你的家目錄&#xff08;和cd ~命令的運行結果是等同的 &#xff09;cd - 更…

使用MJRefresh自定義下拉刷新,上拉加載動畫

有時候我們需要自己設置下拉刷新,上拉加載動畫的實現,這里主要是記錄下使用MJRefresh自定義下拉刷新,上拉加載動畫..... 下拉刷新我們只需要繼承MJRefreshGifHeader即可: 實現代碼如下: - (void)prepare{[super prepare];self.stateLabel.hidden NO;self.lastUpdatedTimeLabel…

2.mybatis入門實例 連接數據庫進行查詢

1.新建項目&#xff0c;添加mybatis和mysql的jar包 2.在mysql中新建表user[id,name,age] CREATE TABLE users (id int(11) NOT NULL auto_increment,NAME varchar(50) default NULL,age int(11) default NULL,PRIMARY KEY (id)) ENGINEInnoDB DEFAULT CHARSETutf8 3.新建User類…

使用JacpFX和JavaFX2構建富客戶端

創建快速且可擴展的桌面客戶端始終是一個挑戰&#xff0c;特別是在處理大量數據和長時間運行的任務時。 盡管Eclipse RCP和Netbeans RCP是已建立的平臺&#xff0c;但其想法是建立一個輕量級的框架來異步處理組件&#xff0c;類似于Web組件。 開發人員在線程主題上的工作應較少…

lob移表空間 oracle_Oracle數據庫(1)Oracle體系結構概述(一)

Oracle數據庫的體系結構主要包括&#xff1a;物理存儲結構、邏輯存儲結構、內存結構和實例進程結構。了解了Oracle的體系結構&#xff0c;就可以對Oracle數據庫有一個整體認識&#xff0c;這樣有利于后續Oracle的學習。下面我們分別來了解邏輯存儲結構、物理存儲結構、內存結構…

Linux入門筆記——文件操作命令2

cp Copy files and directories&#xff08;復制文件和目錄&#xff09; cp 選項&#xff1a; 選項 意義 -a, --archive 復制文件和目錄&#xff0c;以及它們的屬性&#xff0c;包括所有權和權限。 通常&#xff0c;復本具有用戶所操作文件的默認屬性。 -i, --interactive 在…

java 對象的上轉型對象(父類)

Example5_10.java class 類人猿 {void crySpeak(String s) {System.out.println(s); } } class People extends 類人猿 {void computer(int a,int b) { int ca*b;System.out.println(c); }void crySpeak(String s) {System.out.println("***"s"***"); }…