MySQL高階知識點(一)一條SQL【更新】語句是如何執行的

一條SQL【更新】語句是如何執行的
首先,可以確定的說,【查詢】語句的那一套流程,【更新】語句也是同樣會走一遍,與查詢流程不一樣的是,
更新語句涉及到【事務】,就必須保證事務的四大特性:ACID,
所以更新流程涉及到兩個重要的日志模板:

  • redo log(重做日志)
  • binlog(歸檔日志)

1 redo log

首先redo log日志是innodb引擎特有,這也是innodb引擎成為mysql最主流引擎的主要原因。

《孔乙己》這篇文章,酒店掌柜有一個粉板,專門用來記錄客人的賒賬記錄。如果賒賬的人不多,那么他可以把顧客名和賬目寫在板上。但如果賒賬的人多了,粉板總會有記不下的時候,這個時候掌柜一定還有一個專門記錄賒賬的賬本。

如果有人要賒賬或者還賬的話,掌柜一般有兩種做法:
一種做法是直接把賬本翻出來,把這次賒的賬加上去或者扣除掉;
另一種做法是先在粉板上記下這次的賬,等打烊以后再把賬本翻出來核算。

在生意紅火柜臺很忙時,掌柜一定會選擇后者,因為前者操作實在是太麻煩了。首先,你得找到這個人的賒賬總額那條記錄。你想想,密密麻麻幾十頁,掌柜要找到那個名字,可能還得帶上老花鏡慢慢找,找到之后再拿出算盤計算,最后再將結果寫回到賬本上。這整個過程想想都麻煩。相比之下,還是先在粉板上記一下方便。你想想,如果掌柜沒有粉板的幫助,每次記賬都得翻賬本,效率是不是低得讓人難以忍受?

同樣,在 MySQL 里也有這個問題,如果每一次的更新操作都需要寫進磁盤,然后磁盤也要找到對應的那條記錄,然后再更新,整個過程 IO 成本、查找成本都很高。

為了解決這個問題,MySQL 的設計者就用了類似酒店掌柜粉板的思路來提升更新效率。

先寫日志,再寫磁盤

而粉板和賬本配合的整個過程,其實就是 MySQL 里經常說到的 WAL 技術,WAL 的全稱是 Write-Ahead Logging,它的關鍵點就是先寫日志,再寫磁盤,也就是先寫粉板,等不忙的時候再寫賬本。

具體來說,當有一條記錄需要更新的時候,InnoDB 引擎就會先把記錄寫到 redo log(粉板)里面,并更新內存,這個時候更新就算完成了。

同時,InnoDB 引擎會在適當的時候,將這個操作記錄更新到磁盤里面,而這個更新往往是在系統比較空閑的時候做,這就像打烊以后掌柜做的事。
如果今天賒賬的不多,掌柜可以等打烊后再整理。

但如果某天賒賬的特別多,粉板寫滿了,又怎么辦呢?
這個時候掌柜只好放下手中的活兒,把粉板中的一部分賒賬記錄更新到賬本中,然后把這些記錄從粉板上擦掉,為記新賬騰出空間。

與此類似,InnoDB 的 redo log 是固定大小的,比如可以配置為一組 4 個文件,每個文件的大小是 1GB,那么這塊“粉板”總共就可以記錄 4GB 的操作。
從頭開始寫,寫到末尾就又回到開頭循環寫,如下面這個圖所示。
在這里插入圖片描述
write pos 是當前記錄的位置,一邊寫一邊后移,寫到第 3 號文件末尾后就回到 0 號文件開頭。

checkpoint 是當前要擦除的位置,也是往后推移并且循環的,擦除記錄要把記錄更新到數據文件。

write pos 和 checkpoint 之間的是“粉板”上還空著的部分,可以用來記錄新的操作。
如果 write pos 追上 checkpoint,表示“粉板”滿了,這時候不能再執行新的更新,得停下來先擦掉一些記錄,把 checkpoint 推進一下。

有了 redo log,InnoDB 就可以保證即使數據庫發生異常重啟,之前提交的記錄都不會丟失,這個能力稱為 crash-safe

2 binlog

redo log 是 InnoDB 引擎特有的日志,而 Server 層也有自己的日志,稱為 binlog(歸檔日志)。

你肯定會問,為什么會有兩份日志呢?

因為最開始 MySQL 里并沒有 InnoDB 引擎。
MySQL 自帶的引擎是 MyISAM,但是 MyISAM 沒有 crash-safe 的能力,binlog 日志只能用于歸檔。
而 InnoDB 是另一個公司以插件形式引入 MySQL 的,既然只依靠 binlog 是沒有 crash-safe 能力的,所以 InnoDB 使用另外一套日志系統,也就是 redo log 來實現 crash-safe 能力

這兩種日志有以下三點不同

  • 1
    redo log 是 InnoDB 引擎特有的;
    binlog 是 MySQL 的 Server 層實現的,所有引擎都可以使用。

  • 2
    redo log 是物理日志,記錄的是“在某個數據頁上做了什么修改”;
    binlog 是邏輯日志,記錄的是這個語句的原始邏輯,比如“給 ID=2 這一行的 c 字段加 1 ”。

  • 3
    redo log 是循環寫的,空間固定會用完;
    binlog 是可以追加寫入的。“追加寫”是指 binlog 文件寫到一定大小后會切換到下一個,并不會覆蓋以前的日志。

執行流程

接下來,我們看一條更新sql的整體執行流程:

mysql> update T set c=c+1 where ID=2;

執行器先找引擎取 ID=2 這一行。
ID 是主鍵,引擎直接用樹搜索找到這一行。

如果 ID=2 這一行所在的數據頁本來就在內存中,就直接返回給執行器;
否則,需要先從磁盤讀入內存,然后再返回。

執行器拿到引擎給的行數據,把這個值加上 1,比如原來是 N,現在就是 N+1,得到新的一行數據
再調用引擎接口寫入這行新數據
[server–>innodb]

redo log 記錄更新操作 – prepare

引擎將這行新數據更新到內存中,同時將這個更新操作記錄到 redo log 里面,此時 redo log 處于 prepare 狀態。

然后告知執行器執行完成了,隨時可以提交事務。
[innodb–>server][記錄下的是修改數據頁的操作–正在處理中,prepare]

binlog將更新操作寫入磁盤

執行器生成這個操作的 binlog,并把 binlog 寫入磁盤。
[server–>innodb][記錄的是:update T … 到binlog,磁盤]

redo log 記錄更新操作 – commit

執行器調用引擎的提交事務接口,引擎把剛剛寫入的 redo log 改成提交(commit)狀態,更新完成。
[innodb][記錄下的是修改數據頁的操作–處理已完成,commit]

這個 update 語句的執行流程圖如下:
在這里插入圖片描述

兩階段提交

通過上面可以發現,將 redo log 的寫入拆成了兩個步驟:prepare 和 commit,這就是"兩階段提交”。

為什么日志需要“兩階段提交”?
這里不妨用反證法來進行解釋。由于 redo log 和 binlog 是兩個獨立的邏輯,如果不用兩階段提交,要么就是

  • 寫完 redo log 再寫 binlog,
  • 或者采用反過來的順序:先寫binlog 再寫 redo log

我們看看這兩種方式會有什么問題。

先寫 redo log 后寫 binlog。

假設在 redo log 寫完,binlog 還沒有寫完的時候,MySQL 進程異常重啟。
由于我們前面說過的,redo log 寫完之后,系統即使崩潰,仍然能夠把數據恢復回來,所以恢復后這一行 c 的值是 1。
但是由于 binlog 沒寫完就 crash 了,這時候 binlog 里面就沒有記錄這個語句(update …)。
因此,之后備份日志的時候,存起來的 binlog 里面就沒有這條語句。

然后你會發現,如果需要用這個 binlog 來恢復臨時庫的話,由于這個語句的 binlog 丟失,這個臨時庫就會少了這一次更新,恢復出來的這一行 c 的值就是 0,與原庫的值不同(在沒有crash之前,是記錄的1,重啟后,binlog沒有這條sql,所以為0)。

先寫 binlog 后寫 redo log。

如果在 binlog 寫完之后 crash,由于 redo log 還沒寫,崩潰恢復以后這個事務無效,所以這一行 c 的值是 0。
但是 binlog 里面已經記錄了“把 c 從 0 改成 1”這個日志。
所以,在之后用 binlog 來恢復的時候就多了一個事務出來,恢復出來的這一行 c 的值就是 1,與原庫的值不同(數據庫原先是0,系統重啟后讀取binlog,恢復的數據多了一條,設置為1)。

兩階段提交是分布式事務一致性的一種解決方案。

redo log 用于保證 crash-safe 能力。

innodb_flush_log_at_trx_commit 這個參數設置成 1 的時候,表示每次事務的 redo log 都直接持久化到磁盤。這樣可以保證 MySQL 異常重啟之后數據不丟失。

sync_binlog 這個參數設置成 1 的時候,表示每次事務的 binlog 都持久化到磁盤。這樣可以保證 MySQL 異常重啟之后 binlog 不丟失。

  • innodb_flush_log_at_trx_commit : redo log 持久化
  • sync_binlog : binlog 持久化

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/34688.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/34688.shtml
英文地址,請注明出處:http://en.pswp.cn/news/34688.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

項目介紹:《WeTalk》網頁聊天室 — Spring Boot、MyBatis、MySQL和WebSocket的奇妙融合

目錄 引言: 前言: 技術棧: 主要功能: 功能詳解: 1. 用戶注冊與登錄: 2. 添加好友 3. 實時聊天 4. 消息未讀 5. 刪除聊天記錄 6. 刪除好友 未來展望: 項目地址: 結語&am…

【redis 3.2 集群】

目錄 一、Redis主從復制 1.概念 2.作用 2.1 數據冗余 2.2 故障恢復 2.3 負載均衡 2.4 高可用 3.缺點 4.流程 4.1 第一步 4.2 第二步 4.3 第三步 4.4 第四步 5.搭建 5.1 主 5.2 從 6.驗證 二、Reids哨兵模式 1.概念 2.作用 2.1 監控 2.2 自動故障轉移 2.…

分布式應用:Zabbix監控Nginx

目錄 一、理論 1.Zabbix監控Nginx 二、實驗 1.Zabbix監控Nginx部署 三、問題 1.重啟zabbix客戶端失敗 2.zabbix服務端測試客戶端nginx狀態失敗 3.nginx啟動失敗 4.權限不夠 一、理論 1.Zabbix監控Nginx (1)環境 zabbix服務端:192.1…

Tomcat線程池原理

1. 一個 SpringBoot 項目能同時處理多少請求?tomcat容器, 200 次。 2. 怎么來的? 而點擊這些線程,查看其堆棧消息,可以看到 Tomcat、threads、ThreadPoolExecutor 等關鍵字 基于“短時間內有 200 個請求被立馬處理…

分類預測 | Python實現LR邏輯回歸多輸入分類預測

分類預測 | Python實現LR邏輯回歸多輸入分類預測 目錄 分類預測 | Python實現LR邏輯回歸多輸入分類預測基本介紹模型描述源碼設計學習小結參考資料基本介紹 邏輯回歸是一種廣義線性的分類模型且其模型結構可以視為單層的神經網絡,由一層輸入層、一層僅帶有一個sigmoid激活函數…

設計模式十二:享元模式(Flyweight Pattern)

當我們需要創建大量相似對象時,享元模式可以幫助我們節省內存空間和提高性能。該模式通過共享相同的數據來減少對象的數量。 在享元模式中,有兩種類型的對象:享元(Flyweight)和非享元(Unshared Flyweight&a…

Postman下載教程

目錄 下載 安裝 注意事項 看到很多小伙伴在問 Postman 下載的相關問題,花時間整理了下,下面教新入門的小伙伴如何去下載 Postman。 開始前我們可以先了解下:Postman 簡介 下載 第一步:進入 Postman 官網 首先,我…

maven打包上傳到私有倉庫的步驟

maven打包上傳到私有倉庫的步驟 一、pom.xml引入二、Maven的settings.xml三、pom.xml中添加源碼插件四、執行發布命令 先準備私庫地址: http://localhost:8081/nexus3/repository/maven-releases http://localhost:8081/nexus3/repository/maven-snapshots 假如現需…

如何在Vue表單處理中實現表單字段的文件下載

Vue.js 是一種流行的JavaScript框架,用于構建用戶界面。在Vue應用中,我們經常需要處理表單操作,其中一個常見需求是實現文件下載。以下介紹如何在Vue表單處理中實現表單字段的文件下載,大家共同交流。 一、使用HTML的a標簽實現文…

Java單例模式詳解(五種實現方式)

1、什么是單例模式? Java單例模式是一種設計模式,用于確保一個類只有一個實例,并提供全局訪問點以獲取該實例。它通常用于需要共享資源或控制某些共享狀態的情況下。 例如: 一個日志記錄器(Logger)。在一個…

二級考python和c語言哪個好,計算機二級python和c

大家好,小編來為大家解答以下問題,二級python和二級c語言哪個更吃香一些,二級python和二級c語言哪個更吃香一點,今天讓我們一起來看看吧! 計算機二級貌似只是在校園里的自嗨,出來工作后并沒有覺得這個證書有…

JavaScript+Asp.Net MVC5同時下載多個文件

前端同時啟動多個下載任務(但是沒有做壓縮包下載) 前端JavaScript腳本: var idList [1,2,3];//要下載的列表 $.each(idList, function (index, item) {downloadURL("/File/GetPdf?id" item); });var count 0; var downloadUR…

LeetCode 21.合并兩個有序鏈表

文章目錄 💡題目分析💡解題思路🚩思路1: 歸并排序思想(不使用帶哨兵衛的頭節點)🔔接口源碼: 💡解題思路🚩思路2: 歸并排序思想(使用帶哨兵衛的頭節點&#xf…

Ubuntu安裝JDK與IntelliJ IDEA

目錄 前言 Ubuntu 安裝 JDK 1、更新軟件包列表 2、安裝OpenJDK 3、驗證安裝 Ubuntu安裝IntelliJ IDEA 1、下載 IntelliJ IDEA 2、解壓縮 IntelliJ IDEA 安裝包 3、移動 IntelliJ IDEA 到安裝目錄 4、啟動 IntelliJ IDEA 前言 APT(Advanced Package Tool&…

web-xss-dvwa

目錄 xss(reflected) low medium high xss(store) low medium high xss(dom) low medium high xss(reflected) low 沒有什么過濾,直接用最普通的標簽就可以了 http://127.0.0.1/DVWA-master/vulnerabili…

C++ STL vector 模擬實現

?<1>主頁&#xff1a;我的代碼愛吃辣 &#x1f4c3;<2>知識講解&#xff1a;C之STL &#x1f525;<3>創作者&#xff1a;我的代碼愛吃辣 ??<4>開發環境&#xff1a;Visual Studio 2022 &#x1f4ac;<5>前言&#xff1a;上次我們已經數字會用…

【uniapp使用web-view點擊返回報錯后返回不了】

問題及解決 問題解決 問題 使用web-view跳轉到別人的網站之后點擊返回報錯&#xff0c;返回不了 解決 使用以下方法 <template><view></view> </template> <script> var wv;//計劃創建的webview export default {onLoad() {// #ifdef APP-PL…

(杭電多校)2023“釘耙編程”中國大學生算法設計超級聯賽(7)

1002 Random Nim Game 只有3種情況,要么必贏,要么必輸,要么從宏觀角度考慮,隨機的話,贏的概率就是1/2(就像拋硬幣一樣,隨著拋的次數越來越多,正反面的概率將越來越接近1) 當只要有一堆石頭數量不是1,那么就是必贏或必輸,贏的概率就是1/2 當每堆石頭數量都為1時,當堆數為奇數…

unity新輸入系統的簡單使用(New InputSystem)

1、在包管理器 unity注冊表中下載安裝InputSystem 2、給玩家添加組件PlayerInput&#xff0c;點擊CreatAction,創建一個InputAct InputAct,這是玩家的輸入文件&#xff0c;在里面可以設置玩家輸入 3、使用 例如玩家控制角色移動 在InputAct中&#xff0c;默認已經設置好了移…

學習pytorch 2 導入查看dataset

學習pytorch 2 2. dataset實戰代碼數據集 2. dataset實戰 B站小土堆視頻 代碼 from torch.utils.data import Dataset from PIL import Image #import cv2 import osclass MyData(Dataset):def __init__(self, root_dir, label_dir):self.root_dir root_dirself.label_dir …