文章目錄
- 前言
- 一、UDP與TCP
- 1.1 有連接與無連接
- 1.2 全雙工
- 1.3 可靠傳輸與不可靠傳輸
- 1.4 面向子節流與面向數據報
- 二、UDP回顯服務器及客戶端編寫
- 三、UDP字典服務器
- 四、TCP回顯服務器及客戶端編寫
- 五、數據序列化的方式
- 5.1 基于行文本的方式傳輸
- 5.2 基于XML的格式
- 5.3 基于json
- 5.4 yml
- 5.5 protobuffer(pb)
前言
目前見到socket這個詞,就可以認為是網絡編程api的統稱。操作系統提供的socket api不是一套而是有好幾套。
(1)流式套接字:給TCP使用。
(2)數據包套接字:給UDP使用。
(3)Unix域套接字:不能跨主機通信,只是本地主機上的線程與線程之間的通信方式。
一、UDP與TCP
UDP和TCP都是傳輸層的協議,是給應用層提供服務的,但是兩個協議之間的差異還是很大的。
1.1 有連接與無連接
UDP是無連接的,TCP是有連接的。
舉例子來理解的話就是有連接相當于打電話,你必須等到對方接通你才能和他通話;無連接相當于短信,你想發就發,不用先接通。
對于UDP的無連接就是直接發送數據,TCP的有連接就是建立連接之后才能發送數據。
另外在計算機中的連接是一個抽象的概念,生活中我們談到連接往往是把兩個東西連起來,但是在計算機的領域,連接就是認為建立連接的雙方各自保存對方的信息,此時就認為是建立了一個抽象的連接。
1.2 全雙工
UDP和TCP都是全雙工的。
至于全雙工就是指一條通信鏈路能夠雙向通信,與之相對的就是半雙工指的就是一條通信鏈路只能夠單向通信。
對于全雙工在代碼中的體現就是后續使用socket既可以讀也可以寫。
1.3 可靠傳輸與不可靠傳輸
UDP是不可靠傳輸,TCP是可靠傳輸。
可靠指的不是一定百分百安全,只是說TCP會盡力去保證數據在傳輸的過程中少發生意外,盡可能多的去保留數據。而UDP就不一樣了,它是不可靠的,只要把數據發送過去就行了,不管在這個過程中會發生什么。
通過上述不難發現,可靠與不可靠也決定了UDP與TCP的一部分特點。TCP要想實現可靠性必然會付出代價,因此它數據傳輸的速度是不如UDP的,但是UDP的可靠性也因此不如TCP。兩者有著不同的適用場景,TCP適用于對數據要求高的,不能出錯的場景,UDP適用于對數據的準確性要求不高,但是對傳輸速率要求高的場景。一般來說的話現在一些應用軟件都是UDP和TCP混用。
1.4 面向子節流與面向數據報
文件操作是面向字節流的,TCP與其有著相同的特點也是面向字節流的,UDP則是面向數據報的。面向數據報就是指數據傳輸的單位是數據報,一次讀寫只能讀寫完整的數據報,不能搞半個也不搞一個半。
另外網絡傳輸數據的基本單位涉及到幾個術語:
(1)數據報Datagram UDP
(2)數據段Segment TCP
(3)數據包 Packet IP
(4)數據幀 Frame 數據鏈路層
雖然以上術語是有差別的,但是程序員對于以上術語都是混著用的不會做刻意區分,因此后續使用過程中也不必刻意區分。
二、UDP回顯服務器及客戶端編寫
Echo稱為“回顯”,正常的服務器你給它發送不同的請求就會返回不同的響應,此處回顯的意思就是請求是什么就返回什么。實際上這就是最簡單的客戶端服務器程序,用來認識socket api的用法。
UdpEchoServer:
package network;import java.io.IOException;
import java.net.DatagramPacket;
import java.net.DatagramSocket;
import java.net.SocketException;public class UdpEchoServer {private DatagramSocket datagramSocket = null;public UdpEchoServer(int port) throws SocketException {datagramSocket = new DatagramSocket(port);}public void start() throws IOException {System.out.println("服務器啟動!!!");while (true) {// 1.讀取請求并且解析DatagramPacket requestPacket = new DatagramPacket(new byte[4096], 4096);datagramSocket.receive(requestPacket);String request = new String(requestPacket.getData(), 0, requestPacket.getLength());// 2.處理計算請求信息String response = this.process(request);// 3.把響應返回客戶端 客戶端的ip以及端口號可以通過請求的數據包中獲取DatagramPacket responsePacket = new DatagramPacket(response.getBytes(), 0, response.getBytes().length,requestPacket.getSocketAddress());datagramSocket.send(responsePacket);// 打印日志 ip port 請求以及返回內容System.out.printf("[%s:%d] req=%s reps=%s", requestPacket.getAddress(), requestPacket.getPort(), request, response);System.out.println();}}public String process(String request) {return request;}public static void main(String[] args) throws IOException {UdpEchoServer udpEchoServer = new UdpEchoServer(4090);udpEchoServer.start();}}
UdpEchoClient:
package network;import java.io.IOException;
import java.net.*;
import java.util.Scanner;public class UdpEchoClient {private DatagramSocket datagramSocket = null;private String serverIp;private int port;public UdpEchoClient(String ip, int port) throws SocketException {datagramSocket = new DatagramSocket();this.serverIp = ip;this.port = port;}public void start() throws IOException {System.out.println("客戶端啟動!!!");Scanner sc = new Scanner(System.in);while (true) {// 輸入請求System.out.println("請輸入請求:");String request = sc.nextLine();// 打包請求并且發送請求DatagramPacket requestPacket = new DatagramPacket(request.getBytes(), 0, request.getBytes().length, InetAddress.getByName(serverIp), port);datagramSocket.send(requestPacket);// 接收響應DatagramPacket responsePacket = new DatagramPacket(new byte[4096], 4096);datagramSocket.receive(responsePacket);// 打印響應的內容String response = new String(responsePacket.getData(), 0, responsePacket.getLength());System.out.println("響應:" + response);}}public static void main(String[] args) throws IOException {UdpEchoClient client = new UdpEchoClient("localhost", 4090);client.start();}}
三、UDP字典服務器
對于字典服務器,和回顯的區別在于你請求的是一個中文字符串,響應也就是要返回一個英語單詞,因此我們需要在服務器端去存儲對應的單詞鍵值對即可,又因為我們前面實現了回顯服務器,所以我們可以直接繼承回顯服務器的代碼,然后添加單詞鍵值對并且重寫posses函數即可,至于客戶端還以一樣不需要去改變。
UdpDictServer:
package network;import java.io.IOException;
import java.net.SocketException;
import java.util.HashMap;public class UdpDictServer extends UdpEchoServer {private HashMap<String, String> dict = null;public UdpDictServer(int port) throws SocketException {super(port);dict = new HashMap<>();dict.put("hello", "你好");dict.put("pig", "小豬");dict.put("dog", "小狗");dict.put("cat", "小貓");}@Overridepublic String process(String request) {return (String) dict.getOrDefault(request, "未搜索到單詞");}public static void main(String[] args) throws IOException {UdpDictServer dictServer = new UdpDictServer(4090);dictServer.start();}
}
四、TCP回顯服務器及客戶端編寫
TcpEchoServer:
package network;import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.ServerSocket;
import java.net.Socket;
import java.util.Scanner;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;public class TcpEchoServer {ServerSocket serverSocket = null;public TcpEchoServer(int port) throws IOException {serverSocket = new ServerSocket(port);}public void start() throws IOException {System.out.println("服務器啟動!!!");while (true) {// 建立連接Socket clientSocket = serverSocket.accept();// 建立線程池 這里建立的是可以自動擴容的線程池ExecutorService pool=Executors.newCachedThreadPool();// 為了方便多個客戶端對服務器發起請求// 這里使用主線程來處理這里的循環 然后使用多線程的放式去去處理每一個客戶端的請求
// Thread t = new Thread(() -> {
// try {
// processConnection(clientSocket);
// } catch (IOException e) {
// throw new RuntimeException(e);
// }
//
// });
//
// t.start();// 使用線程池的方式pool.submit(new Runnable() {@Overridepublic void run() {try {processConnection(clientSocket);} catch (IOException e) {throw new RuntimeException(e);}}});}}private void processConnection(Socket clientSocket) throws IOException {System.out.printf("[%s:%d] 客戶端上線!\n", clientSocket.getInetAddress(), clientSocket.getPort());// 獲取字節流對象try (InputStream inputStream = clientSocket.getInputStream();OutputStream outputStream = clientSocket.getOutputStream()) {Scanner sc = new Scanner(inputStream);while (true) {// 兩種情況if (!sc.hasNext()) {System.out.printf("[%s:%d] 客戶端下線!\n", clientSocket.getInetAddress(), clientSocket.getPort());break;}// 獲取請求String request = sc.next();// 處理請求 String response = process(request);// 返回請求outputStream.write(response.getBytes());// 服務器打印日志System.out.printf("[%s:%d] req=%s resp=%s", clientSocket.getInetAddress(), clientSocket.getPort(), request, response);}} catch (IOException e) {throw new RuntimeException(e);} finally {// 每次一個客戶端請求的連接最后都要關閉 否則當多個客戶端連接同一個服務器的時候就會出現文件描述符表爆滿的問題// 這個問題簡單想一下就會理解clientSocket.close();}}private String process(String request) {return request + '\n';}public static void main(String[] args) throws IOException {TcpEchoServer server = new TcpEchoServer(4090);server.start();}}
TcpEchoClient:
package network;import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.Socket;
import java.util.Scanner;public class TcpEchoClient {Socket socket = null;public TcpEchoClient(String ip, int port) throws IOException {// 這里根據ip和port號自動和服務器建立連接// 具體完成的操作都是系統內核完成的socket = new Socket(ip,port);}private void start() {System.out.println("客戶端啟動!!!");Scanner sc = new Scanner(System.in);// 獲取字節流對象try (InputStream inputStream = socket.getInputStream(); OutputStream outputStream = socket.getOutputStream()) {Scanner scNetwork = new Scanner(inputStream);while (true) {System.out.println("請輸入要發送的內容:");// 輸入請求String request = sc.next();request += '\n';// 發送請求outputStream.write(request.getBytes());// 兩中情況// 第一種:tcp連接斷開 返回false// 第二種:有請求返回if (!scNetwork.hasNext()) {break;}String response = scNetwork.next();System.out.println(response);}} catch (IOException e) {throw new RuntimeException(e);}}public static void main(String[] args) throws IOException {TcpEchoClient client = new TcpEchoClient("localhost", 4090);client.start();}}
在tcp服務器代碼的編寫中我們發現服務器無法去應對多個客戶端的請求,因此我們使用多線程或者線程池的方式,讓每一個線程去處理一個請求。此時不免去聯想到一個問題如果在一個場景當中,服務器收到的不同客戶端的請求越來越多,我們難道需要不停的去創建線程嗎,如果真是這樣服務器肯定支撐不住。事實上對于這種情況可以使用IO多路復用+分布式的方法。
分布式我們都知道,那么IO多路復用指的是什么?其實就是使用一個線程去管理多個socket(可以將socket理解成客戶端的請求),這些socket往往不是同時有數據需要處理,而是同一時刻只有少數的socket需要去讀取數據。
五、數據序列化的方式
5.1 基于行文本的方式傳輸
這種格式是自定義的,只要確保客戶端與服務器使用的是同一套規則即可。缺點就是不好用,可維護性差。
5.2 基于XML的格式
XML是通過成對的標簽來進行組織的。
<request><userId>1234</userId>
</request>
5.3 基于json
當前最流行最廣泛的使用方式,是以鍵值對的形式,可讀性非常好而且比XML簡潔。
{userId: 1234
}
5.4 yml
和前兩種是類似的,是基于縮進的格式,使用縮進來表達包含/嵌套關系。
requestuserId: 1234position: "180E40N"
5.5 protobuffer(pb)
前面幾種說到底還是文本格式,肉眼還能看懂,這里的pb就是二進制格式了,可以對數據進行進一步的整理和壓縮,雖然可讀性不好但是對空間進行最充分的利用,節省網絡帶寬,效率也最高,適用于對傳輸效率高的場景。