一條SQL【更新】語句是如何執行的
首先,可以確定的說,【查詢】語句的那一套流程,【更新】語句也是同樣會走一遍,與查詢流程不一樣的是,
更新語句涉及到【事務】,就必須保證事務的四大特性:ACID,
所以更新流程涉及到兩個重要的日志模板:
- redo log(重做日志)
- binlog(歸檔日志)
1 redo log
首先redo log日志是innodb引擎特有,這也是innodb引擎成為mysql最主流引擎的主要原因。
《孔乙己》這篇文章,酒店掌柜有一個粉板,專門用來記錄客人的賒賬記錄。如果賒賬的人不多,那么他可以把顧客名和賬目寫在板上。但如果賒賬的人多了,粉板總會有記不下的時候,這個時候掌柜一定還有一個專門記錄賒賬的賬本。
如果有人要賒賬或者還賬的話,掌柜一般有兩種做法:
一種做法是直接把賬本翻出來,把這次賒的賬加上去或者扣除掉;
另一種做法是先在粉板上記下這次的賬,等打烊以后再把賬本翻出來核算。
在生意紅火柜臺很忙時,掌柜一定會選擇后者,因為前者操作實在是太麻煩了。首先,你得找到這個人的賒賬總額那條記錄。你想想,密密麻麻幾十頁,掌柜要找到那個名字,可能還得帶上老花鏡慢慢找,找到之后再拿出算盤計算,最后再將結果寫回到賬本上。這整個過程想想都麻煩。相比之下,還是先在粉板上記一下方便。你想想,如果掌柜沒有粉板的幫助,每次記賬都得翻賬本,效率是不是低得讓人難以忍受?
同樣,在 MySQL 里也有這個問題,如果每一次的更新操作都需要寫進磁盤,然后磁盤也要找到對應的那條記錄,然后再更新,整個過程 IO 成本、查找成本都很高。
為了解決這個問題,MySQL 的設計者就用了類似酒店掌柜粉板的思路來提升更新效率。
先寫日志,再寫磁盤
而粉板和賬本配合的整個過程,其實就是 MySQL 里經常說到的 WAL 技術,WAL 的全稱是 Write-Ahead Logging,它的關鍵點就是先寫日志,再寫磁盤,也就是先寫粉板,等不忙的時候再寫賬本。
具體來說,當有一條記錄需要更新的時候,InnoDB 引擎就會先把記錄寫到 redo log(粉板)里面,并更新內存,這個時候更新就算完成了。
同時,InnoDB 引擎會在適當的時候,將這個操作記錄更新到磁盤里面,而這個更新往往是在系統比較空閑的時候做,這就像打烊以后掌柜做的事。
如果今天賒賬的不多,掌柜可以等打烊后再整理。
但如果某天賒賬的特別多,粉板寫滿了,又怎么辦呢?
這個時候掌柜只好放下手中的活兒,把粉板中的一部分賒賬記錄更新到賬本中,然后把這些記錄從粉板上擦掉,為記新賬騰出空間。
與此類似,InnoDB 的 redo log 是固定大小的,比如可以配置為一組 4 個文件,每個文件的大小是 1GB,那么這塊“粉板”總共就可以記錄 4GB 的操作。
從頭開始寫,寫到末尾就又回到開頭循環寫,如下面這個圖所示。
write pos 是當前記錄的位置,一邊寫一邊后移,寫到第 3 號文件末尾后就回到 0 號文件開頭。
checkpoint 是當前要擦除的位置,也是往后推移并且循環的,擦除記錄前要把記錄更新到數據文件。
write pos 和 checkpoint 之間的是“粉板”上還空著的部分,可以用來記錄新的操作。
如果 write pos 追上 checkpoint,表示“粉板”滿了,這時候不能再執行新的更新,得停下來先擦掉一些記錄,把 checkpoint 推進一下。
有了 redo log,InnoDB 就可以保證即使數據庫發生異常重啟,之前提交的記錄都不會丟失,這個能力稱為 crash-safe。
2 binlog
redo log 是 InnoDB 引擎特有的日志,而 Server 層也有自己的日志,稱為 binlog(歸檔日志)。
你肯定會問,為什么會有兩份日志呢?
因為最開始 MySQL 里并沒有 InnoDB 引擎。
MySQL 自帶的引擎是 MyISAM,但是 MyISAM 沒有 crash-safe 的能力,binlog 日志只能用于歸檔。
而 InnoDB 是另一個公司以插件形式引入 MySQL 的,既然只依靠 binlog 是沒有 crash-safe 能力的,所以 InnoDB 使用另外一套日志系統,也就是 redo log 來實現 crash-safe 能力。
這兩種日志有以下三點不同。
-
1
redo log 是 InnoDB 引擎特有的;
binlog 是 MySQL 的 Server 層實現的,所有引擎都可以使用。 -
2
redo log 是物理日志,記錄的是“在某個數據頁上做了什么修改”;
binlog 是邏輯日志,記錄的是這個語句的原始邏輯,比如“給 ID=2 這一行的 c 字段加 1 ”。 -
3
redo log 是循環寫的,空間固定會用完;
binlog 是可以追加寫入的。“追加寫”是指 binlog 文件寫到一定大小后會切換到下一個,并不會覆蓋以前的日志。
執行流程
接下來,我們看一條更新sql的整體執行流程:
mysql> update T set c=c+1 where ID=2;
執行器先找引擎取 ID=2 這一行。
ID 是主鍵,引擎直接用樹搜索找到這一行。
如果 ID=2 這一行所在的數據頁本來就在內存中,就直接返回給執行器;
否則,需要先從磁盤讀入內存,然后再返回。
執行器拿到引擎給的行數據,把這個值加上 1,比如原來是 N,現在就是 N+1,得到新的一行數據
再調用引擎接口寫入這行新數據。
[server–>innodb]
redo log 記錄更新操作 – prepare
引擎將這行新數據更新到內存中,同時將這個更新操作記錄到 redo log 里面,此時 redo log 處于 prepare 狀態。
然后告知執行器執行完成了,隨時可以提交事務。
[innodb–>server][記錄下的是修改數據頁的操作–正在處理中,prepare]
binlog將更新操作寫入磁盤
執行器生成這個操作的 binlog,并把 binlog 寫入磁盤。
[server–>innodb][記錄的是:update T … 到binlog,磁盤]
redo log 記錄更新操作 – commit
執行器調用引擎的提交事務接口,引擎把剛剛寫入的 redo log 改成提交(commit)狀態,更新完成。
[innodb][記錄下的是修改數據頁的操作–處理已完成,commit]
這個 update 語句的執行流程圖如下:
兩階段提交
通過上面可以發現,將 redo log 的寫入拆成了兩個步驟:prepare 和 commit,這就是"兩階段提交”。
為什么日志需要“兩階段提交”?
這里不妨用反證法來進行解釋。由于 redo log 和 binlog 是兩個獨立的邏輯,如果不用兩階段提交,要么就是
- 先寫完 redo log 再寫 binlog,
- 或者采用反過來的順序:先寫binlog 再寫 redo log
我們看看這兩種方式會有什么問題。
先寫 redo log 后寫 binlog。
假設在 redo log 寫完,binlog 還沒有寫完的時候,MySQL 進程異常重啟。
由于我們前面說過的,redo log 寫完之后,系統即使崩潰,仍然能夠把數據恢復回來,所以恢復后這一行 c 的值是 1。
但是由于 binlog 沒寫完就 crash 了,這時候 binlog 里面就沒有記錄這個語句(update …)。
因此,之后備份日志的時候,存起來的 binlog 里面就沒有這條語句。
然后你會發現,如果需要用這個 binlog 來恢復臨時庫的話,由于這個語句的 binlog 丟失,這個臨時庫就會少了這一次更新,恢復出來的這一行 c 的值就是 0,與原庫的值不同(在沒有crash之前,是記錄的1,重啟后,binlog沒有這條sql,所以為0)。
先寫 binlog 后寫 redo log。
如果在 binlog 寫完之后 crash,由于 redo log 還沒寫,崩潰恢復以后這個事務無效,所以這一行 c 的值是 0。
但是 binlog 里面已經記錄了“把 c 從 0 改成 1”這個日志。
所以,在之后用 binlog 來恢復的時候就多了一個事務出來,恢復出來的這一行 c 的值就是 1,與原庫的值不同(數據庫原先是0,系統重啟后讀取binlog,恢復的數據多了一條,設置為1)。
兩階段提交是分布式事務一致性的一種解決方案。
redo log 用于保證 crash-safe 能力。
innodb_flush_log_at_trx_commit 這個參數設置成 1 的時候,表示每次事務的 redo log 都直接持久化到磁盤。這樣可以保證 MySQL 異常重啟之后數據不丟失。
sync_binlog 這個參數設置成 1 的時候,表示每次事務的 binlog 都持久化到磁盤。這樣可以保證 MySQL 異常重啟之后 binlog 不丟失。
- innodb_flush_log_at_trx_commit : redo log 持久化
- sync_binlog : binlog 持久化