知識點：Mysql 索引原理完全手冊（1）

?

知識點：Mysql 索引原理完全手冊(1)

知識點：Mysql 索引原理完全手冊(2)

知識點：Mysql 索引優化實戰(3)

知識點：Mysql 數據庫索引優化實戰(4)

Mysql-索引原理完全手冊

• 一、 介紹
• 二、 索引的原理
• 三、 索引的數據結構
• 四、 聚集索引與輔助索引
• 五、 MySQL索引管理
• 六、 測試索引
• 七、 正確使用索引
• 八、 聯合索引與覆蓋索引
• 九、 查詢優化神器-explain
• 十、 慢查詢優化的基本步驟
• 十一、 慢日志管理

一 、介紹

為何要有索引?

復雜的查詢操作是我們遇到最多的，也是最容易出問題的，因此數據庫性能的優化顯然是重中之重。說起加速查詢，就不得不提到索引了。

什么是索引？

索引在MySQL中也叫做“鍵”，是存儲引擎用于快速找到記錄的一種數據結構。索引對于良好的性能非常關鍵，表中的數據量越來越大，索引對于性能的影響愈發重要。

索引能夠輕易將查詢性能提高好幾個數量級，其功能相當于字典的音序表。

                      3010                          405         15 35 66 1 6 11 19 21 39 55 100 

對索引的誤解？

1平衡點的選擇

若索引太多，應用程序的性能可能會受到影響。而索引太少，對查詢性能又會產生影響。

要找到一個平衡點，這對應用程序的性能至關重要。

2索引優先級

開發人員編寫SQL語句、存儲過程之類，往往對數據庫的使用停留在應用的層面，認為事后讓相關DBA加上即可。

DBA往往不夠了解業務的數據流，而添加索引需要通過監控大量的SQL語句進而從中找到問題，這個步驟所需的時間肯定是遠大于初始添加索引所需的時間，并且可能會遺漏一部分的索引。

索引的添加也是非常有技術含量的。

二 、索引的原理

一 、索引原理

索引的目的在于提高查詢效率，類似于查閱字典，其本質都是：通過不斷地縮小想要獲取數據的范圍來篩選出最終想要的結果，同時把隨機的事件變成順序的事件。

也就是說，有了這種索引機制，我們可以總是用同一種查找方式來鎖定數據。

數據庫也是一樣，但顯然要復雜的多，因為不僅面臨著等值查詢，還有范圍查詢(>、<、between、in)、模糊查詢(like)、并集查詢(or)等等。

數據庫應該選擇怎么樣的方式來應對所有的問題呢？

舉個例子，如果1000條數據，我們分成10段，這樣查第250條數據，只要找第三段就可以了，一下子去除了90%的無效數據。

但如果是1千萬的記錄呢？

稍有算法基礎的同學會想到搜索樹，其平均復雜度是lgN，具有不錯的查詢性能。

但我們忽略了一個關鍵的問題，復雜度模型是基于每次相同的操作成本來考慮的。

而數據庫實現比較復雜，一方面數據是保存在磁盤上的，另外一方面為了提高性能，每次又可以把部分數據讀入內存來計算，因為我們知道訪問磁盤的成本大概是訪問內存的十萬倍左右，所以簡單的搜索樹難以滿足復雜的應用場景。

二 、磁盤IO與預讀

先簡單介紹一下磁盤IO和預讀

磁盤讀取數據靠的是機械運動，每次讀取數據花費的時間可以分為尋道時間、旋轉延遲、傳輸時間三個部分：

• 尋道時間指的是磁臂移動到指定磁道所需要的時間，主流磁盤一般在5ms以下；
• 旋轉延遲就是我們經常聽說的磁盤轉速，比如一個磁盤7200轉，表示每分鐘能轉7200次，也就是說1秒鐘能轉120次，旋轉延遲就是1/120/2 = 4.17ms；
• 傳輸時間指的是從磁盤讀出或將數據寫入磁盤的時間，一般在零點幾毫秒，相對于前兩個時間可以忽略不計。

那么訪問一次磁盤的時間，即一次磁盤IO的時間約等于5+4.17 = 9ms左右，但一臺500 -MIPS（Million Instructions Per Second）的機器每秒可以執行5億條指令，因為指令依靠的是電的性質，換句話說執行一次IO的時間可以執行約450萬條指令，千萬級數據的數據庫，每次9毫秒的時間，顯然是個災難。

而磁盤IO是非常高昂的操作，計算機操作系統做了一些優化，當一次IO時，不光把當前磁盤地址的數據，而是把相鄰的數據也都讀取到內存緩沖區內，因為局部預讀性原理告訴我們，當計算機訪問一個地址的數據的時候，與其相鄰的數據也會很快被訪問到。每一次IO讀取的數據我們稱之為一頁(page)。具體一頁有多大數據跟操作系統有關，一般為4k或8k，也就是我們讀取一頁內的數據時候，實際上才發生了一次IO，這個理論對于索引的數據結構設計非常有幫助。

三 、索引的數據結構

我們知道了索引的基本原理，數據庫的復雜性，和操作系統的相關知識，任何一種數據結構都不是憑空產生的，一定會有它的背景和使用場景，我們現在總結一下，這種數據結構能夠做些什么？

數據結構：每次查找數據時把磁盤IO次數控制在一個很小的數量級，最好是常數數量級。那么我們就想到如果一個高度可控的多路搜索樹是否能滿足需求呢？

就這樣，b+樹應運而生（B+樹是通過二叉查找樹，再由平衡二叉樹，B樹演化而來）。

如上圖，是一顆b+樹，關于b+樹的定義可以參見B+樹，這里只說一些重點，淺藍色的塊我們稱之為一個磁盤塊，可以看到每個磁盤塊包含幾個數據項（深藍色所示）和指針（黃色所示），如磁盤塊1包含數據項17和35，包含指針P1、P2、P3，P1表示小于17的磁盤塊，P2表示在17和35之間的磁盤塊，P3表示大于35的磁盤塊。真實的數據存在于葉子節點即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非葉子節點只不存儲真實的數據，只存儲指引搜索方向的數據項，如17、35并不真實存在于數據表中。

b+樹的查找過程

如圖所示，如果要查找數據項29，那么首先會把磁盤塊1由磁盤加載到內存，此時發生一次IO，在內存中用二分查找確定29在17和35之間，鎖定磁盤塊1的P2指針，內存時間因為非常短（相比磁盤的IO）可以忽略不計，通過磁盤塊1的P2指針的磁盤地址把磁盤塊3由磁盤加載到內存，發生第二次IO，29在26和30之間，鎖定磁盤塊3的P2指針，通過指針加載磁盤塊8到內存，發生第三次IO，同時內存中做二分查找找到29，結束查詢，總計三次IO。真實的情況是，3層的b+樹可以表示上百萬的數據，如果上百萬的數據查找只需要三次IO，性能提高將是巨大的，如果沒有索引，每個數據項都要發生一次IO，那么總共需要百萬次的IO，顯然成本非常非常高。

b+樹性質

• 1.索引字段要盡量的小

我們知道IO次數取決于b+數的高度h，假設當前數據表的數據為N，每個磁盤塊的數據項的數量是m，則有h=㏒(m+1)N，當數據量N一定的情況下，m越大，h越小；

而m = 磁盤塊的大小 / 數據項的大小，磁盤塊的大小也就是一個數據頁的大小，是固定的，如果數據項占的空間越小，數據項的數量越多，樹的高度越低。

這就是為什么每個數據項，即索引字段要盡量的小，比如int占4字節，要比bigint8字節少一半。這也是為什么b+樹要求把真實的數據放到葉子節點而不是內層節點，一旦放到內層節點，磁盤塊的數據項會大幅度下降，導致樹增高。當數據項等于1時將會退化成線性表。

• 2.索引的最左匹配特性

當b+樹的數據項是復合的數據結構，比如(name,age,sex)的時候，b+數是按照從左到右的順序來建立搜索樹的，比如當(張三,20,F)這樣的數據來檢索的時候，b+樹會優先比較name來確定下一步的所搜方向，如果name相同再依次比較age和sex，最后得到檢索的數據；

但當(20,F)這樣的沒有name的數據來的時候，b+樹就不知道下一步該查哪個節點，因為建立搜索樹的時候name就是第一個比較因子，必須要先根據name來搜索才能知道下一步去哪里查詢。

比如當(張三,F)這樣的數據來檢索時，b+樹可以用name來指定搜索方向，但下一個字段age的缺失，所以只能把名字等于張三的數據都找到，然后再匹配性別是F的數據了

這個就是索引的最左匹配特性。

四 、聚集索引與輔助索引

在數據庫中，B+樹的高度一般都在2至4層，即查找某一個鍵值的行記錄時最多只需要2到4次IO。因為當前一般的機械硬盤每秒至少可以做100次IO，2至4次的IO意味著查詢時間只需要0.02~0.04秒。

數據庫中的B+樹索引可以分為聚集索引（clustered index）和輔助索引（secondary index）， 聚集索引與輔助索引相同的是：不管是聚集索引還是輔助索引，其內部都是B+樹的形式，即高度是平衡的，葉子結點存放著所有的數據。

聚集索引與輔助索引不同的是：葉子結點存放的是否是一整行的信息

1、聚集索引

#InnoDB存儲引擎表示索引組織表，即表中數據按照主鍵順序存放。而聚集索引（clustered index）就是按照每張表的主鍵構造一棵B+樹， 同時葉子結點存放的即為整張表的行記錄數據，也將聚集索引的葉子結點稱為數據頁。聚集索引的這個特性決定了索引組織表中數據也是索引的一部分。 同B+樹數據結構一樣，每個數據頁都通過一個雙向鏈表來進行鏈接。 #如果未定義主鍵，MySQL取第一個唯一索引（unique）而且只含非空列（NOT NULL）作為主鍵，InnoDB使用它作為聚簇索引。 #如果沒有這樣的列，InnoDB就自己產生一個這樣的ID值，它有六個字節，而且是隱藏的，使其作為聚簇索引。  #由于實際的數據頁只能按照一棵B+樹進行排序，因此每張表只能擁有一個聚集索引。在多少情況下，查詢優化器傾向于采用聚集索引。 因為聚集索引能夠在B+樹索引的葉子節點上直接找到數據。此外由于定義了數據的邏輯順序，聚集索引能夠特別快地訪問針對范圍值得查詢。 

• 聚集索引的好處之一：它對主鍵的排序查找和范圍查找速度非常快，葉子節點的數據就是用戶所要查詢的數據。

如用戶需要查找一張表，查詢最后的10位用戶信息，由于B+樹索引是雙向鏈表，所以用戶可以快速找到最后一個數據頁，并取出10條記錄

• 聚集索引的好處之二：范圍查詢（range query）

即如果要查找主鍵某一范圍內的數據，通過葉子節點的上層中間節點就可以得到頁的范圍，之后直接讀取數據頁即可

2、輔助索引

表中除了聚集索引外其他索引都是輔助索引（Secondary Index，也稱為非聚集索引），與聚集索引的區別是：輔助索引的葉子節點不包含行記錄的全部數據。

葉子節點除了包含鍵值以外，每個葉子節點中的索引行中還包含一個書簽（bookmark）。該書簽用來告訴InnoDB存儲引擎去哪里可以找到與索引相對應的行數據。

由于InnoDB存儲引擎是索引組織表，因此InnoDB存儲引擎的輔助索引的書簽就是相應行數據的聚集索引鍵。

如下圖

輔助索引的存在并不影響數據在聚集索引中的組織，因此每張表上可以有多個輔助索引，但只能有一個聚集索引。當通過輔助索引來尋找數據時，InnoDB存儲引擎會遍歷輔助索引并通過葉子級別的指針獲得只想主鍵索引的主鍵，然后再通過主鍵索引來找到一個完整的行記錄。

舉例來說，如果在一棵高度為3的輔助索引樹種查找數據，那需要對這個輔助索引樹遍歷3次找到指定主鍵，如果聚集索引樹的高度同樣為3，那么還需要對聚集索引樹進行3次查找，最終找到一個完整的行數據所在的頁，因此一共需要6次邏輯IO訪問才能得到最終的一個數據頁。

五 、MySQL索引管理

一 、功能

1. 索引的功能就是加速查找
2. mysql中的primary key，unique，聯合唯一也都是索引，這些索引除了加速查找以外，還有約束的功能

二 、MySQL常用的索引

• 普通索引INDEX：加速查找
• 唯一索引： -主鍵索引PRIMARY KEY：加速查找+約束（不為空、不能重復）
• 唯一索引UNIQUE:加速查找+約束（不能重復）
• 聯合索引：

1. PRIMARY KEY(id,name):聯合主鍵索引
2. UNIQUE(id,name):聯合唯一索引
3. INDEX(id,name):聯合普通索引

三 、索引的兩大類型hash與btree

我們可以在創建上述索引的時候，為其指定索引類型，分兩類

• hash類型的索引：查詢單條快，范圍查詢慢
• btree類型的索引：b+樹，層數越多，數據量指數級增長（innodb默認支持它）

不同的存儲引擎支持的索引類型也不一樣

• InnoDB 支持事務，支持行級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
• MyISAM 不支持事務，支持表級別鎖定，支持 B-tree、Full-text 等索引，不支持 Hash 索引；
• Memory 不支持事務，支持表級別鎖定，支持 B-tree、Hash 等索引，不支持 Full-text 索引；
• NDB 支持事務，支持行級別鎖定，支持 Hash 索引，不支持 B-tree、Full-text 等索引；
• Archive 不支持事務，支持表級別鎖定，不支持 B-tree、Hash、Full-text 等索引；

四 、創建/刪除索引的語法

創建索引的幾種操作：

#方法一：創建表時　　CREATE TABLE 表名 (字段名1 數據類型 [完整性約束條件…], 字段名2 數據類型 [完整性約束條件…], [UNIQUE | FULLTEXT | SPATIAL ] INDEX | KEY [索引名] (字段名[(長度)] [ASC |DESC]) ); #方法二：CREATE在已存在的表上創建索引 CREATE [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 ON 表名 (字段名[(長度)] [ASC |DESC]) ; #方法三：ALTER TABLE在已存在的表上創建索引 ALTER TABLE 表名 ADD [UNIQUE | FULLTEXT | SPATIAL ] INDEX 索引名 (字段名[(長度)] [ASC |DESC]) ; #刪除索引：DROP INDEX 索引名 ON 表名字; 

舉例演示：

#方式一
create table t1(id int,name char,age int,sex enum('male','female'),unique key uni_id(id), index ix_name(name) #index沒有key ); #方式二 create index ix_age on t1(age); #方式三 alter table t1 add index ix_sex(sex); #查看 mysql> show create table t1; | t1 | CREATE TABLE `t1` ( `id` int(11) DEFAULT NULL, `name` char(1) DEFAULT NULL, `age` int(11) DEFAULT NULL, `sex` enum('male','female') DEFAULT NULL, UNIQUE KEY `uni_id` (`id`), KEY `ix_name` (`name`), KEY `ix_age` (`age`), KEY `ix_sex` (`sex`) ) ENGINE=InnoDB DEFAULT CHARSET=latin1 

六 、索引測試

一 、數據表

#1. 準備表
create table s1(
id int,
name varchar(20),
gender char(6), email varchar(50) ); #2. 創建存儲過程，實現批量插入記錄 delimiter $$ #聲明存儲過程的結束符號為$$ create procedure auto_insert1() BEGIN declare i int default 1; while(i<3000000)do insert into s1 values(i,'duoduo','male',concat('duoduo',i,'@oldboy')); set i=i+1; end while; END$$ #$$結束 delimiter ; #重新聲明分號為結束符號 #3. 查看存儲過程 show create procedure auto_insert1\G #4. 調用存儲過程 call auto_insert1(); #等待時間長短，看機器性能 

提示：創建表的時間長短，看機器的性能！

二 、在沒有索引的前提下測試查詢速度

#無索引：mysql不知道是否存在id等于666的記錄，只能把數據表從頭到尾掃描一遍，此時有多少個磁盤塊就需要進行多少IO操作，所以查詢速度很慢 mysql> select * from s1 where id=666; Empty set (0.27 sec) 

三 、大量數據的前提下，為某個字段段建立索引，建立速度會很慢

四 、建立索引，以該字段為查詢條件時，查詢速度提升明顯

PS：

1. mysql 先去索引表里根據b+樹的搜索原理很快搜索到id等于666的記錄不存在，IO大大降低，因而速度明顯提升

2. 我們可以去mysql的data目錄下找到該表，可以看到占用的硬盤空間多了

3. 需要注意，如下圖

五、總結：

#1. 一定是為搜索條件的字段創建索引，比如select * from s1 where id = 666;就需要為id加上索引 #2. 大量數據的前提下，建索引會很慢，且占用硬盤空間，建完后查詢速度加快 比如create index idx on s1(id);會掃描表中所有的數據，然后以id為數據項，創建索引結構，存放于硬盤的表中。 建完以后，再查詢就會很快了。 #3. 需要注意的是：innodb表的索引會存放于s1.ibd文件中，而myisam表的索引則會有單獨的索引文件table1.MYI 

MySAM索引文件和數據文件是分離的，索引文件僅保存數據記錄的地址。

而在innodb中，表數據文件本身就是按照B+Tree（BTree即Balance True）組織的一個索引結構，這棵樹的葉節點data域保存了完整的數據記錄。

這個索引的key是數據表的主鍵，因此innodb表數據文件本身就是主索引。

因為inndob的數據文件要按照主鍵聚集，所以innodb要求表必須要有主鍵（Myisam可以沒有）， 如果沒有顯式定義，則mysql系統會自動選擇一個可以唯一標識數據記錄的列作為主鍵，

如果不存在這種列，則mysql會自動為innodb表生成一個隱含字段作為主鍵，這字段的長度為6個字節，類型為長整型.

七 、正確使用索引

一 、索引未命中

索引不一定會加快查詢速度。

我們在添加索引時，必須遵循以下問題

1 、范圍問題

或者說條件不明確，條件中出現這些符號或關鍵字：>、>=、<、<=、!= 、between...and...、like、

大于號、小于號

不等于！=

between ...and...

like

2 盡量選擇區分度高的列作為索引

區分度的公式是count(distinct col)/count(*)，表示字段不重復的比例，比例越大我們掃描的記錄數越少，唯一鍵的區分度是1，而一些狀態、性別字段可能在大數據面前區分度就是0，

這個值很難確定，一般需要join的字段我們都要求是0.1以上，即平均1條掃描10條記錄

先把表中的索引都刪除，讓我們專心研究區分度的問題

#把表中的索引都刪除，讓我們專心研究區分度的問題mysql> desc s1;
+--------+-------------+------+-----+---------+-------+
| Field  | Type        | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | MUL | NULL | | | name | varchar(50) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | MUL | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec) mysql> drop index a on s1; Query OK, 0 rows affected (0.20 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> drop index d on s1; Query OK, 0 rows affected (0.18 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> desc s1; +--------+-------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +--------+-------------+------+-----+---------+-------+ | id | int(11) | YES | | NULL | | | name | varchar(50) | YES | | NULL | | | gender | char(5) | YES | | NULL | | | email | varchar(50) | YES | | NULL | | +--------+-------------+------+-----+---------+-------+ 4 rows in set (0.00 sec) 

分析：

我們編寫存儲過程為表s1批量添加記錄，name這個字段的區分度很低，gender 也是一樣。

根據b+樹的結構，查詢的速度與樹的高度成反比，要想將樹的高低控制的很低，需要保證：在某一層內數據項均是按照從左到右，從小到大的順序依次排開，即左1<左2<左3<...

而對于區分度低的字段，因為值都是相等的，無法找到大小關系，毫無疑問，還想要用b+樹存放這些等值的數據，只能增加樹的高度，字段的區分度越低，則樹的高度越高。

極端的情況，索引字段的值都一樣，那么b+樹幾乎成了一根棍。

結論：為區分度低的字段建立索引，索引樹的高度會很高，然而這具體會帶來什么影響呢？？？

• 1：如果條件是name='xxxx',那么肯定是可以第一時間判斷出'xxxx'是不在索引樹中的（因為樹中所有的值均為‘duoduo’），所以查詢速度很快

• 2：如果條件正好是name='duoduo',查詢時，我們永遠無法從樹的某個位置得到一個明確的范圍，只能往下找，往下找，往下找。。。這與全表掃描的IO次數沒有多大區別，所以速度很慢

• 3、=和in可以亂序

比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意順序，mysql的查詢優化器會幫你優化成索引可以識別的形式

• 4、 索引列不能參與計算，保持列“干凈”

比如from_unixtime(create_time) = ‘2018-07-12’就不能使用到索引，原因很簡單，b+樹中存的都是數據表中的字段值，但進行檢索時，需要把所有元素都應用函數才能比較，顯然成本太大。所以語句應該寫成create_time = unix_timestamp(‘2014-05-29’)

• 5、 and/or

1、and與or的邏輯

條件1 and 條件2:所有條件都成立才算成立，但凡要有一個條件不成立則最終結果不成立
條件1 or 條件2:只要有一個條件成立則最終結果就成立

2、and的工作原理

條件：a = 10 and b = 'xxx' and c > 3 and d =4 索引：制作聯合索引(d,a,b,c) 工作原理:對于連續多個and：mysql會按照聯合索引，從左到右的順序找一個區分度高的索引字段(這樣便可以快速鎖定很小的范圍)，加速查詢，即按照d—>a->b->c的順序

3、or的工作原理

條件：a = 10 or b = 'xxx' or c > 3 or d =4 索引：制作聯合索引(d,a,b,c) 工作原理:對于連續多個or：mysql會按照條件的順序，從左到右依次判斷，即a->b->c->d

在左邊條件成立但是索引字段的區分度低的情況下（name，加速查詢）

• 6 最左前綴匹配原則，非常重要的原則，對于組合索引mysql會一直向右匹配直到遇到范圍查詢(>、<、between、like)就停止匹配(指的是范圍大了，有索引速度也慢)，比如a = 1 and b = 2 and c > 3 and d = 4 如果建立(a,b,c,d)順序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引則都可以用到，a,b,d的順序可以任意調整。

• 7、 其他情況

其他情況演示：

- 使用函數select * from tb1 where reverse(email) = 'duoduo'; - 類型不一致 如果列是字符串類型，傳入條件是必須用引號引起來，不然... select * from tb1 where email = 999; #排序條件為索引，則select字段必須也是索引字段，否則無法命中 - order by select name from s1 order by email desc; 當根據索引排序時候，select查詢的字段如果不是索引，則速度仍然很慢 select email from s1 order by email desc; 特別的：如果對主鍵排序，則還是速度很快： select * from tb1 order by nid desc; - 組合索引最左前綴 如果組合索引為：(name,email) name and email -- 命中索引 name -- 命中索引 email -- 未命中索引 - count(1)或count(列)代替count(*)在mysql中沒有差別了 - create index xxxx on tb(title(19)) #text類型，必須制定長度 

其他注意事項：

- 避免使用select *
- count(1)或count(列) 代替 count(*) - 創建表時盡量時 char 代替 varchar - 表的字段順序固定長度的字段優先 - 組合索引代替多個單列索引（經常使用多個條件查詢時） - 盡量使用短索引 - 使用連接（JOIN）來代替子查詢(Sub-Queries) - 連表時注意條件類型需一致 - 索引散列值（重復少）不適合建索引，例：性別不適合 

?

?