InnoDB邏輯存儲結構
段—區—頁—行
表空間:
默認情況下InnoDB有一個共享表空間ibdata1,所有數據放入這個表空間,如果開啟了innodb_file_per_table(默認ON),每張表都可以放到一個單獨的表空間,但只把數據、索引和Insert Buffer Bitmap放入單獨表空間,其它數據,如undo信息、插入緩沖索引頁、事務信息,二次寫緩沖等還是放共享表空間
段:
表空間由各個段組成,數據段、索引段、回滾段等,數據段即B+樹葉子節點,索引段即B+樹非葉子節點。每個段開始時,先用32個頁大小的碎片頁存放數據,使用完這些碎片頁,再去一個區一個區地申請內存,這保證了小段如undo這樣的段可以省空間
區:
區由連續的頁組成,一個區固定是1MB,頁默認16KB,即一個區有64個連續的頁,InnoDB1.0.x引入壓縮頁,頁的大小可以是2K、4K、8K,但不管怎么變,區都是1MB
頁:
InnoDB磁盤最小的管理單位,默認16KB,InnoDB1.2.x開始可以更改默認大小innodb_page_size為4K、8K、16K,更改后,不得再次修改,除非mysqldump導入導出產生新的庫
常見的頁類型:
- 數據頁(B-tree Node)
- undo頁(undo Log Page)
- 系統頁(System Page)
- 索引頁(Index Page)
- 事務數據頁(Transaction system Page)
- 插入緩沖位圖頁(Insert Buffer Bitmap)
- 插入緩沖空閑列表頁(Insert Buffer Free List)
- 未壓縮的二進制大對象頁(Uncompresses BLOB Page)
- 壓縮的二進制大對象頁(compressed BLOB Page)
行:
行存儲有四種格式,Redundant、Compact、Dynamic和Compressed。MySQL5.1開始默認使用Compact,MySQL5.7開始默認使用Dynamic
? Compact:
? 變長字段長度列表:當數據表有變長字段時才出現,記錄本行中各變長字段實際長度,當長度小于255時用1個字節表 示,大于255時用2個字節表示,不會用3個字節,因為變長字段有長度限制,最多65535字節
? NULL標志位:當數據表存在允許NULL的字段時才出現,本行每個字段是否為null用0或1表示,同時必須是整數個字 節大小,即不足8個bit位的高位補0
? 記錄頭信息:存儲一些信息,固定5個字節,如delete_mask,標識刪除位;next_record下條記錄的地址; record_type,記錄類型,0為普通,1為B+樹非葉子節點,2為最小記錄,3為最大記錄
? 變長字段長度列表和NULL是逆序存儲(方便尋址)
? row_id:當建表時沒指定主鍵時,選擇第一個非空唯一索引當主鍵,如果沒有,添加該列作為主鍵,6字節大小
? trx_id:事務id,這條數據是哪個事務生成的,6字節大小
? roll_ptr:上個版本的指針,7字節大小
? 一個頁最多有16KB,16384字節,而varchar(n)最多可以存儲65533字節,那么一個頁可能都放不了一條記錄,這時就會行溢出,溢出的數據會放到“溢出頁”中,原頁會保留20個字節指向該溢出頁的地址。
? Compressed和Dynamic行格式和Compact非常相似,主要是行溢出時的處理,這兩個不會在原頁保存數據,只用20字節指針指向溢出頁,數據全在溢出頁,而Compressed還會對BLOB、TEXT、VARCHAR這些大長度類型的數據進行zlib算法壓縮
char和varchar?
char存儲固定長度字符串,最大長度255字節,當存儲長度小于定義的長度時,MySQL在后面補空格(如果本身存儲的字符串尾部就有空格,就會丟失空格信息!)
varchar存儲可變字符串,讀取速度相對更慢一點,因為需要先讀長度,再讀數據
一般使用varchar存儲較好,但考慮到極端情況,varchar因為長度可變,可能出現頁分裂的情況
如果是身份證號、訂單號、國家編碼等這些固定長度的,可以用char
如果是產品描述、用戶地址、用戶名稱這種,可以用varchar
數據頁結構:
采用鏈表的結構是讓數據頁之間不需要是物理上的連續的,而是邏輯上的連續。
數據頁中的記錄按照「主鍵」順序組成單向鏈表,單向鏈表的特點就是插入、刪除非常方便,但是檢索效率不高,最差的情況下需要遍歷鏈表上的所有節點才能完成檢索。
因此,數據頁中有一個頁目錄,起到記錄的索引作用,就像我們書那樣,針對書中內容的每個章節設立了一個目錄,想看某個章節的時候,可以查看目錄,快速找到對應的章節的頁數,而數據頁中的頁目錄就是為了能快速找到記錄。
- 將所有的記錄劃分成幾個組,這些記錄包括最小記錄和最大記錄,但不包括標記為“已刪除”的記錄;
- 每個記錄組的最后一條記錄就是組內最大的那條記錄,并且最后一條記錄的頭信息中會存儲該組一共有多少條記錄,作為 n_owned 字段(上圖中粉紅色字段)
- 頁目錄用來存儲每組最后一條記錄的地址偏移量,這些地址偏移量會按照先后順序存儲起來,每組的地址偏移量也被稱之為槽(slot),每個槽相當于指針指向了不同組的最后一個記錄。
從圖可以看到,頁目錄就是由多個槽組成的,槽相當于分組記錄的索引。然后,因為記錄是按照「主鍵值」從小到大排序的,所以我們通過槽查找記錄時,可以使用二分法快速定位要查詢的記錄在哪個槽(哪個記錄分組),定位到槽后,再遍歷槽內的所有記錄,找到對應的記錄,無需從最小記錄開始遍歷整個頁中的記錄鏈表。
- 第一個分組中的記錄只能有 1 條記錄;
- 最后一個分組中的記錄條數范圍只能在 1-8 條之間;
- 剩下的分組中記錄條數范圍只能在 4-8 條之間。
索引:
索引頁的行記錄是指針,指向一個頁,索引頁的索引鍵值就是指向的頁的最小索引鍵值
數據頁的行記錄就是數據(聚簇索引,如果是二級索引,存放的是主鍵值)
頁合并和頁分裂:
? 頁合并:
? 當一個數據頁的使用率低于一定閾值(50%)時,MySQL 就會將該頁與相鄰的空閑頁合并成一個頁面。
? 例如,數據頁能存放7條數據,有兩個相鄰的數據頁,一個存儲 [1, 2, 3, 4],另一個是[5, 6]。當刪除4時,會檢查 本頁,本頁數據只有三條,小于閾值,MySQL 就會將兩個頁面合并成一個頁面,存儲的數據變成 [1, 2, 3, 5, 6]
? 頁分裂:
? 當一個數據頁已經滿了,而有新的數據要插入到該頁時,MySQL 就會進行頁分裂操作。
? 例如,數據頁能存放5條數據,假設一個數據頁已經存儲了 [1, 2, 3, 4, 5],而有新的數據6要插入到該頁中, MySQL 就會將該頁拆分為兩個頁面,一個頁面存儲 [1, 2, 3],另一個頁面存儲 [4, 5, 6]。
? 頁分裂是為了保證插入順序的同時不大量挪動數據
? 采用邏輯刪除可以減少頁合并
? 采用批量順序插入可以減少頁分裂