前言

京東到家訂單中心系統業務中，無論是外部商家的訂單生產，或是內部上下游系統的依賴，訂單查詢的調用量都非常大，造成了訂單數據讀多寫少的情況。

我們把訂單數據存儲在MySQL中，但顯然只通過DB來支撐大量的查詢是不可取的。同時對于一些復雜的查詢，MySQL支持得不夠友好，所以訂單中心系統使用了Elasticsearch來承載訂單查詢的主要壓力。

Elasticsearch作為一款功能強大的分布式搜索引擎，支持近實時的存儲、搜索數據，在京東到家訂單系統中發揮著巨大作用，目前訂單中心ES集群存儲數據量達到10億個文檔，日均查詢量達到5億。

隨著京東到家近幾年業務的快速發展，訂單中心ES架設方案也不斷演進，發展至今ES集群架設是一套實時互備方案，很好地保障了ES集群讀寫的穩定性，下面就給大家介紹一下這個歷程以及過程中遇到的一些坑。

一、網絡編程基礎回顧

1. Socket

Socket本身有“插座”的意思，不是Java中特有的概念，而是一個語言無關的標準，任何可以實現網絡編程的編程語言都有Socket。在Linux環境下，用于表示進程間網絡通信的特殊文件類型，其本質為內核借助緩沖區形成的偽文件。既然是文件，那么理所當然的，我們可以使用文件描述符引用套接字。

與管道類似的，Linux系統將其封裝成文件的目的是為了統一接口，使得讀寫套接字和讀寫文件的操作一致。區別是管道主要應用于本地進程間通信，而套接字多應用于網絡進程間數據的傳遞。

可以這么理解：Socket就是網絡上的兩個應用程序通過一個雙向通信連接實現數據交換的編程接口API。

Socket通信的基本流程具體步驟如下所示:

（1）服務端通過Listen開啟監聽，等待客戶端接入。

（2）客戶端的套接字通過Connect連接服務器端的套接字，服務端通過Accept接收客戶端連接。在connect-accept過程中，操作系統將會進行三次握手。

（3）客戶端和服務端通過write和read發送和接收數據，操作系統將會完成TCP數據的確認、重發等步驟。

（4）通過close關閉連接，操作系統會進行四次揮手。

針對Java編程語言，java.net包是網絡編程的基礎類庫。其中ServerSocket和Socket是網絡編程的基礎類型。

SeverSocket是服務端應用類型。Socket是建立連接的類型。當連接建立成功后，服務器和客戶端都會有一個Socket對象示例，可以通過這個Socket對象示例，完成會話的所有操作。對于一個完整的網絡連接來說，Socket是平等的，沒有服務器客戶端分級情況。

2. IO模型介紹

對于一次IO操作，數據會先拷貝到內核空間中，然后再從內核空間拷貝到用戶空間中，所以一次read操作，會經歷兩個階段：

（1）等待數據準備

（2）數據從內核空間拷貝到用戶空間

基于以上兩個階段就產生了五種不同的IO模式。

阻塞IO：從進程發起IO操作，一直等待上述兩個階段完成，此時兩階段一起阻塞。
非阻塞IO：進程一直詢問IO準備好了沒有，準備好了再發起讀取操作，這時才把數據從內核空間拷貝到用戶空間。第一階段不阻塞但要輪詢，第二階段阻塞。
多路復用IO：多個連接使用同一個select去詢問IO準備好了沒有，如果有準備好了的，就返回有數據準備好了，然后對應的連接再發起讀取操作，把數據從內核空間拷貝到用戶空間。兩階段分開阻塞。
信號驅動IO：進程發起讀取操作會立即返回，當數據準備好了會以通知的形式告訴進程，進程再發起讀取操作，把數據從內核空間拷貝到用戶空間。第一階段不阻塞，第二階段阻塞。
異步IO：進程發起讀取操作會立即返回，等到數據準備好且已經拷貝到用戶空間了再通知進程拿數據。兩個階段都不阻塞。

這五種IO模式不難發現存在這兩對關系：同步和異步、阻塞和非阻塞。那么稍微解釋一下：

同步和異步

同步： 同步就是發起一個調用后，被調用者未處理完請求之前，調用不返回。
異步： 異步就是發起一個調用后，立刻得到被調用者的回應表示已接收到請求，但是被調用者并沒有返回結果，此時我們可以處理其他的請求，被調用者通常依靠事件，回調等機制來通知調用者其返回結果。

同步和異步的區別最大在于異步的話調用者不需要等待處理結果，被調用者會通過回調等機制來通知調用者其返回結果。

阻塞和非阻塞

阻塞： 阻塞就是發起一個請求，調用者一直等待請求結果返回，也就是當前線程會被掛起，無法從事其他任務，只有當條件就緒才能繼續。
非阻塞： 非阻塞就是發起一個請求，調用者不用一直等著結果返回，可以先去干其他事情。

阻塞和非阻塞是針對進程在訪問數據的時候，根據IO操作的就緒狀態來采取的不同方式，說白了是一種讀取或者寫入操作方法的實現方式，阻塞方式下讀取或者寫入函數將一直等待，而非阻塞方式下，讀取或者寫入方法會立即返回一個狀態值。

如果組合后的同步阻塞(blocking-IO)簡稱BIO、同步非阻塞(non-blocking-IO)簡稱NIO和異步非阻塞(asynchronous-non-blocking-IO)簡稱AIO又代表什么意思呢？

BIO (同步阻塞I/O模式): 數據的讀取寫入必須阻塞在一個線程內等待其完成。這里使用那個經典的燒開水例子，這里假設一個燒開水的場景，有一排水壺在燒開水，BIO的工作模式就是，叫一個線程停留在一個水壺那，直到這個水壺燒開，才去處理下一個水壺。但是實際上線程在等待水壺燒開的時間段什么都沒有做。
NIO(同步非阻塞): 同時支持阻塞與非阻塞模式，但這里我們以其同步非阻塞I/O模式來說明，那么什么叫做同步非阻塞？如果還拿燒開水來說，NIO的做法是叫一個線程不斷的輪詢每個水壺的狀態，看看是否有水壺的狀態發生了改變，從而進行下一步的操作。
AIO(異步非阻塞I/O模型): 異步非阻塞與同步非阻塞的區別在哪里？異步非阻塞無需一個線程去輪詢所有IO操作的狀態改變，在相應的狀態改變后，系統會通知對應的線程來處理。對應到燒開水中就是，為每個水壺上面裝了一個開關，水燒開之后，水壺會自動通知我水燒開了。

java 中的 BIO、NIO和AIO理解為是 Java 語言在操作系統層面對這三種 IO 模型的封裝。程序員在使用這些封裝API 的時候，不需要關心操作系統層面的知識，也不需要根據不同操作系統編寫不同的代碼，只需要使用Java的API就可以了。由此，為了使讀者對這三種模型有個比較具體和遞推式的了解，并且和本文主題NIO有個清晰的對比，下面繼續延伸。

Java BIO

BIO編程方式通常是是Java的上古產品，自JDK 1.0-JDK1.4就有的東西。編程實現過程為：首先在服務端啟動一個ServerSocket來監聽網絡請求，客戶端啟動Socket發起網絡請求，默認情況下SeverSocket會建立一個線程來處理此請求，如果服務端沒有線程可用，客戶端則會阻塞等待或遭到拒絕。服務器實現模式為一個連接一個線程，即客戶端有連接請求時服務器端就需要啟動一個線程進行處理。大致結構如下：

如果要讓 BIO 通信模型能夠同時處理多個客戶端請求，就必須使用多線程（主要原因是 socket.accept()、socket.read()、 socket.write() 涉及的三個主要函數都是同步阻塞的），也就是說它在接收到客戶端連接請求之后為每個客戶端創建一個新的線程進行鏈路處理，處理完成之后，通過輸出流返回應答給客戶端，線程銷毀。這就是典型的一請求一應答通信模型。我們可以設想一下如果這個連接不做任何事情的話就會造成不必要的線程開銷，不過可以通過線程池機制改善，線程池還可以讓線程的創建和回收成本相對較低。使用線程池機制改善后的 BIO 模型圖如下:

BIO方式適用于連接數目比較小且固定的架構，這種方式對服務器資源要求比較高，并發局限于應用中，是JDK1.4以前的唯一選擇，但程序直觀簡單易懂。Java BIO編程示例網上很多，這里就不進行coding舉例了，畢竟后面NIO才是重點。

Java NIO

NIO（New IO或者No-Blocking IO），從JDK1.4 開始引入的非阻塞IO，是一種非阻塞+ 同步的通信模式。這里的No Blocking IO用于區分上面的BIO。

NIO本身想解決 BIO的并發問題，通過Reactor模式的事件驅動機制來達到Non Blocking的。當 socket 有流可讀或可寫入 socket 時，操作系統會相應的通知應用程序進行處理，應用再將流讀取到緩沖區或寫入操作系統。

也就是說，這個時候，已經不是一個連接就要對應一個處理線程了，而是有效的請求，對應一個線程，當連接沒有數據時，是沒有工作線程來處理的。

當一個連接創建后，不需要對應一個線程，這個連接會被注冊到 多路復用器上面，所以所有的連接只需要一個線程就可以搞定，當這個線程中的多路復用器 進行輪詢的時候，發現連接上有請求的話，才開啟一個線程進行處理，也就是一個請求一個線程模式。

NIO提供了與傳統BIO模型中的Socket和ServerSocket相對應的SocketChannel和ServerSocketChannel兩種不同的套接字通道實現，如下圖結構所示。這里涉及的Reactor設計模式、多路復用Selector、Buffer等暫時不用管，后面會講到。

NIO 方式適用于連接數目多且連接比較短(輕操作)的架構，比如聊天服務器，并發局限于應用中，編程復雜，JDK1.4 開始支持。同時，NIO和普通IO的區別主要可以從存儲數據的載體、是否阻塞等來區分：

Java AIO

與 NIO 不同，當進行讀寫操作時，只須直接調用 API 的 read 或 write 方法即可。這兩種方法均為異步的，對于讀操作而言，當有流可讀取時，操作系統會將可讀的流傳入 read 方法的緩沖區，并通知應用程序；對于寫操作而言，當操作系統將 write 方法傳遞的流寫入完畢時，操作系統主動通知應用程序。即可以理解為，read/write 方法都是異步的，完成后會主動調用回調函數。在 JDK7 中，提供了異步文件通道和異步套接字通道的實現，這部分內容被稱作 NIO.

AIO 方式使用于連接數目多且連接比較長(重操作)的架構，比如相冊服務器，充分調用 OS 參與并發操作，編程比較復雜，JDK7 開始支持。

目前來說 AIO 的應用還不是很廣泛，Netty 之前也嘗試使用過 AIO，不過又放棄了。