倒序查10條數據_10 | 怎么給字符串字段加索引?

現在,幾乎所有的系統都支持郵箱登錄,如何在郵箱這樣的字段上建立合理的索引,是我們今天要討論的問題。

假設,你現在維護一個支持郵箱登錄的系統,用戶表是這么定義的:

mysql> create table SUser(
ID bigint unsigned primary key,
email varchar(64), 
... 
)engine=innodb; 

由于要使用郵箱登錄,所以業務代碼中一定會出現類似于這樣的語句:

mysql> select f1, f2 from SUser where email='xxx';

如果 email 這個字段上沒有索引,那么這個語句就只能做全表掃描。同時,MySQL 是支持前綴索引的,也就是說,你可以定義字符串的一部分作為索引。默認地,如果你創建索引的語句不指定前綴長度,那么索引就會包含整個字符串。

比如,這兩個在 email 字段上創建索引的語句:

mysql> alter table SUser add index index1(email);
或
mysql> alter table SUser add index index2(email(6));

第一個語句創建的 index1 索引里面,包含了每個記錄的整個字符串;而第二個語句創建的 index2 索引里面,對于每個記錄都是只取前 6 個字節。

那么,這兩種不同的定義在數據結構和存儲上有什么區別呢?如圖 所示,就是這兩個索引的示意圖。

40e3da6b4711b5bdbdda721b74d56dee.png

ccc254752614a4f73d2d8df413edac80.png

從圖中你可以看到,由于 email(6) 這個索引結構中每個郵箱字段都只取前 6 個字節(即:zhangs),所以占用的空間會更小,這就是使用前綴索引的優勢。但,這同時帶來的損失是,可能會增加額外的記錄掃描次數。

接下來,再看看下面這個語句,在這兩個索引定義下分別是怎么執行的。

select id,name,email from SUser where email='zhangssxyz@xxx.com';

如果使用的是 index1(即 email 整個字符串的索引結構),執行順序是這樣的:

  1. 從 index1 索引樹找到滿足索引值是’zhangssxyz@xxx.com’的這條記錄,取得 ID2 的值;
  2. 到主鍵上查到主鍵值是 ID2 的行,判斷 email 的值是正確的,將這行記錄加入結果集;
  3. 取 index1 索引樹上剛剛查到的位置的下一條記錄,發現已經不滿足 email='zhangssxyz@xxx.com’的條件了,循環結束。

這個過程中,只需要回主鍵索引取一次數據,所以系統認為只掃描了一行。

如果使用的是 index2(即 email(6) 索引結構),執行順序是這樣的:

  1. 從 index2 索引樹找到滿足索引值是’zhangs’的記錄,找到的第一個是 ID1;
  2. 到主鍵上查到主鍵值是 ID1 的行,判斷出 email 的值不是’zhangssxyz@xxx.com’,這行記錄丟棄;取 index2 上剛剛查到的位置的下一條記錄,發現仍然是’zhangs’,取出 ID2,再到 ID 索引上取整行然后判斷,這次值對了,將這行記錄加入結果集;
  3. 重復上一步,直到在 idxe2 上取到的值不是’zhangs’時,循環結束。

在這個過程中,要回主鍵索引取 4 次數據,也就是掃描了 4 行。

通過這個對比,你很容易就可以發現,使用前綴索引后,可能會導致查詢語句讀數據的次數變多。

但是,對于這個查詢語句來說,如果你定義的 index2 不是 email(6) 而是 email(7),也就是說取 email 字段的前 7 個字節來構建索引的話,即滿足前綴’zhangss’的記錄只有一個,也能夠直接查到 ID2,只掃描一行就結束了。

也就是說使用前綴索引,定義好長度,就可以做到既節省空間,又不用額外增加太多的查詢成本。

當要給字符串創建前綴索引時,有什么方法能夠確定我應該使用多長的前綴呢?

實際上,在建立索引時關注的是區分度,區分度越高越好。因為區分度越高,意味著重復的鍵值越少。因此,我們可以通過統計索引上有多少個不同的值來判斷要使用多長的前綴。

首先,你可以使用下面這個語句,算出這個列上有多少個不同的值:

mysql> select count(distinct email) as L from SUser;

然后,依次選取不同長度的前綴來看這個值,比如我們要看一下 4~7 個字節的前綴索引,可以用這個語句:

mysql> select count(distinct left(email,4))as L4,count(distinct left(email,5))as L5,count(distinct left(email,6))as L6,count(distinct left(email,7))as L7,
from SUser;

當然,使用前綴索引很可能會損失區分度,所以你需要預先設定一個可以接受的損失比例,比如 5%。然后,在返回的 L4~L7 中,找出不小于 L * 95% 的值,假設這里 L6、L7 都滿足,你就可以選擇前綴長度為 6。

前綴索引對覆蓋索引的影響

使用前綴索引可能會增加掃描行數,這會影響到性能。其實,前綴索引的影響不止如此,我們再看一下另外一個場景

來看看這個 SQL 語句:

select id,email from SUser where email='zhangssxyz@xxx.com';

與前面例子中的 SQL 語句

select id,name,email from SUser where email='zhangssxyz@xxx.com';

相比,這個語句只要求返回 id 和 email 字段。

所以,如果使用 index1(即 email 整個字符串的索引結構)的話,可以利用覆蓋索引,從 index1 查到結果后直接就返回了,不需要回到 ID 索引再去查一次。而如果使用 index2(即 email(6) 索引結構)的話,就不得不回到 ID 索引再去判斷 email 字段的值。

即使你將 index2 的定義修改為 email(18) 的前綴索引,這時候雖然 index2 已經包含了所有的信息,但 InnoDB 還是要回到 id 索引再查一下,因為系統并不確定前綴索引的定義是否截斷了完整信息。

也就是說,使用前綴索引就用不上覆蓋索引對查詢性能的優化了,這也是你在選擇是否使用前綴索引時需要考慮的一個因素。

其他方式

對于類似于郵箱這樣的字段來說,使用前綴索引的效果可能還不錯。但是,遇到前綴的區分度不夠好的情況時,我們要怎么辦呢?

比如,我們國家的身份證號,一共 18 位,其中前 6 位是地址碼,所以同一個縣的人的身份證號前 6 位一般會是相同的。假設你維護的數據庫是一個市的公民信息系統,這時候如果對身份證號做長度為 6 的前綴索引的話,這個索引的區分度就非常低了。

按照我們前面說的方法,可能你需要創建長度為 12 以上的前綴索引,才能夠滿足區分度要求。但是,索引選取的越長,占用的磁盤空間就越大,相同的數據頁能放下的索引值就越少,搜索的效率也就會越低。

那么,如果我們能夠確定業務需求里面只有按照身份證進行等值查詢的需求,還有沒有別的處理方法呢?這種方法,既可以占用更小的空間,也能達到相同的查詢效率。答案是,有的。

第一種方式是使用倒序存儲。如果你存儲身份證號的時候把它倒過來存,每次查詢的時候,你可以這么寫:

mysql> select field_list from t where id_card = reverse('input_id_card_string');

由于身份證號的最后 6 位沒有地址碼這樣的重復邏輯,所以最后這 6 位很可能就提供了足夠的區分度。當然了,實踐中你不要忘記使用 count(distinct) 方法去做個驗證。

第二種方式是使用 hash 字段。你可以在表上再創建一個整數字段,來保存身份證的校驗碼,同時在這個字段上創建索引。

mysql> select field_list from t where id_card_crc=crc32('input_id_card_string') and id_card='input_id_card_string'

這樣,索引的長度變成了 4 個字節,比原來小了很多。

接下來,看看使用倒序存儲和使用 hash 字段這兩種方法的異同點。

首先,它們的相同點是,都不支持范圍查詢。倒序存儲的字段上創建的索引是按照倒序字符串的方式排序的,已經沒有辦法利用索引方式查出身份證號碼在[ID_X, ID_Y]的所有市民了。同樣地,hash 字段的方式也只能支持等值查詢。

它們的區別,主要體現在以下三個方面:

  1. 從占用的額外空間來看,倒序存儲方式在主鍵索引上,不會消耗額外的存儲空間,而 hash 字段方法需要增加一個字段。當然,倒序存儲方式使用 4 個字節的前綴長度應該是不夠的,如果再長一點,這個消耗跟額外這個 hash 字段也差不多抵消了。
  2. 在 CPU 消耗方面,倒序方式每次寫和讀的時候,都需要額外調用一次 reverse 函數,而 hash 字段的方式需要額外調用一次 crc32() 函數。如果只從這兩個函數的計算復雜度來看的話,reverse 函數額外消耗的 CPU 資源會更小些。
  3. 從查詢效率上看,使用 hash 字段方式的查詢性能相對更穩定一些。因為 crc32 算出來的值雖然有沖突的概率,但是概率非常小,可以認為每次查詢的平均掃描行數接近 1。而倒序存儲方式畢竟還是用的前綴索引的方式,也就是說還是會增加掃描行數。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/534501.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/534501.shtml
英文地址,請注明出處:http://en.pswp.cn/news/534501.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

保留小數點后三位_【Meta分析】Stata制作森林圖時,如何保留三位小數?

系統評價/Meta分析指全面收集所有相關研究并逐個進行嚴格評價和分析,再用定性或定量合成的方法對資料進行處理得出綜合結論的研究方法。在指導學員的過程中發現初學者在學習過程中常常會碰到許多共性問題,本公眾號特此開設專欄解答,希望能夠和…

android自動計步_Android計步模塊實例代碼(類似微信運動)

最近在項目中研究計步模塊,每天0點開始記錄當天的步數,類似微信運動。碰到了不少坑今天有時間整理出來給大家看看。做之前在google、baidu、github上搜了個遍沒找到好的,大多數都是需要在后臺存活,需要后臺Service。對于現在的各大…

python井字棋ai_實現AI下井字棋的alpha-beta剪枝算法(python實現)

代碼參考自中國大學mooc上人工智能與信息社會陳斌老師的算法,我在原來的基礎上增加了玩家輸入的異常捕獲 AlphaBeta剪枝算法是對Minimax方法的優化,能夠極大提高搜索樹的效率,如果對這個算法感興趣的可以去參考相關資料。 當正確理解AlphaBet…

Redis小計(2)

目錄 1.exists命令 2.del命令 3.expire/pexpire命令 4.ttl命令 5.redis對于key過期的刪除策略 1.exists命令 exists X1 X2 X3 X4:返回四個key存在的個數。 2.del命令 del X1 X2:刪除key。 3.expire/pexpire命令 給key設置超時時間。 expire key…

unity 彩帶粒子_iOS動畫開發----粒子系統---彩帶效果

參考博文地址:http://my.oschina.net/u/2340880/blog/485095?fromerrbgjLq4Mw一、粒子發射器iOS中的粒子效果有兩部分組成,一部分為發射器,設置例子發射的宏觀屬性,另一部分是粒子單元,用于設置相應的粒子屬性。粒子發射器是基于…

一秒執行一次_《一秒鐘》:一貫的粗曠式抓大放小,張藝謀的自命題作業總是要觀眾自己再做一遍...

還有不變的永遠在奔跑的大棉褲花棉襖的圓臉妮子,這是導演張藝謀最新作品《一秒鐘》的最直接觀感。張藝謀是個善于從普世情懷處挖掘題材的導演。之前諸多現實題材類型作品,諸如講父子和解的《千里走單騎》、夫妻愛情的《歸來》以及《我的父親母親》&#…

latex 作者加小標_Latex 寫期刊論文的小技巧

在不同文字處理系統(如 MiKTeX, TeX Live, CTeX, cwTex) 或 不同整合開發環境 ( 如Texstudio, WinEdt, TeXstudio, TeXmaker) 中,我用了 Miktex Texstudio 的常用組合 (win10環境中)。1: 先MiKTeX,后Texstudio ;2: 安裝包(packages);3&#…

unity 畸變_unity3d 幾種鏡頭畸變

1.Fisheye distortion 魚眼鏡頭解釋來自百度百科:魚眼鏡頭是一種焦距為16mm或更短的并且視角接近或等于180。 它是一種極端的廣角鏡頭,“魚眼鏡頭”是它的俗稱。為使鏡頭達到最大的攝影視角,這種攝影鏡頭的前鏡片直徑很短且呈拋物狀向鏡頭前…

restfull加簽_SpringBoot RestFull API簽名

一、需求如下對指定的API路徑進行簽名認證,對于沒有指定的無需認證,認證具體到方法。二、查閱資料與開發1.了解JWT,實際上用的開源jjwt2.編寫自定義注解3.編寫攔截器,主要是攔截特定的url進行簽名驗證,這里解析請求的h…

mysql 5.5.18下載_MySQL5.7.18下載和安裝過程圖文詳解

MySql下載1、打開官網找到下載路口,這里直接給出下載的地址2、選擇64位版本3、直接下載MySql5.7.18.1安裝過程1 、運行安裝軟件,接受協議2、選擇默認安裝3、下一步到檢查環境界面,點擊“Execute”執行檢查 (可以后面單獨下載插件安裝)&…

mysql找不到performance_Mysql安裝完畢運行時沒有mysql和performance_schema數據庫_MySQL

Mysql問題 ERROR 1045 (28000): Access denied for user ‘root’’localhost’ (using password: YES)Mysql安裝完畢運行時沒有 mysql 和 performance_schema 數據庫問題一:之前卸載未卸載干凈問題二:沒有管理員權限進入問題三:登錄時&#…

mysql latid1_mysql觸發器的實戰經驗

1 引言Mysql的觸發器和存儲過程一樣,都是嵌入到mysql的一段程序。觸發器是mysql5新增的功能,目前線上鳳巢系統、北斗系統以及哥倫布系統使用的數據庫均是mysql5.0.45版本,很多程序比如fc-star管理端,sfrd(das),dorad…

mysql數據庫sql注入原理_SQL注入原理解析以及舉例1

sql注入是指web應用程序對用戶輸入數據的合法性沒有判斷,導致攻擊者可以構造不同的sql語句來實現對數據庫的操作。sql注入漏洞產生滿足條件:1;用戶能夠控制數據的輸入。2;原本需要執行的代碼,拼接了用戶的輸入。舉例&a…

mysql存儲map數據結構_map數據結構

Go map實現原理 - 戀戀美食的個人空間 - OSCHINA - 中文開源技術交流社區 https://my.oschina.net/renhc/blog/2208417// A header for a Go map.type hmap struct {// Note: the format of the hmap is also encoded in cmd/compile/internal/gc/reflect.go.// Make sure this…

四因素三水平正交表_做論文要用正交表?我打包送給你

正交試驗目前在國內的應用量仍然是比較高的,許多高校畢業生喜歡利用正交試驗來獲取研究數據,最終完成畢業論文的撰寫或者期刊投稿。正交試驗方案的設計,必然要用到(標準)正交表。那么大家都是從哪里獲取正交表的呢?小兵給這方面的…

plsql視圖添加表字段_Oracle-單表多字段查詢(不使用*)

環境:Oracle 11g,plsql 14目的:不使用*,查詢擁有上百個字段的表的所有字段。懶人大法:在文章末尾。sql實現邏輯:1、首先建一張100個字段以上的表,通過excel的方式將表建好后直接復制粘貼到plsql的建表界面。…

mysql 編譯安裝與rpm安裝的區別_編譯安裝與RPM安裝的區別

建議在安裝線上的生產服務器軟件包時都用源碼安裝,這是因為源碼安裝可以自行調整編譯參數,最大化地定制安裝結果。這里以MySQL 5線上環境的編譯安裝來說明之,其編譯參數如下所示:./configure-prefix/usr/local/mysql -without-deb…

python字符串變量s的值是python網絡爬蟲_【Python爬蟲作業】-字符串

一、定義字符串變量1.請定義三個字符串a,b,c值分別為 I,like, python2.請將上面三個變量合并輸出I like pythonaIblikecpythonprint(a)print(b)print(c)print(a,b,c)二、定義一個變量 s sdghHhf 1.請先將變量s的空白符去掉 賦值給新變量s1 打印輸出2.請分別將s1變為全部大寫(命…

lableimg閃退_CV學習筆記(二十五):數據集標注與制作

最近在做一些數據標注的工作,雖然標注數據比較枯燥,但這也是每個做算法的工程師升級打怪的必由之路。使用一些合適的工具往往可以事半功倍,效率UP。一:數據標注流程二:數據處理的一些小代碼1:重命名當得到這…

mysql show profile詳解_SQL 性能分析利器 show profile

本文首發個人公眾號《andyqian》, 期待你的關注~前言在之前的文章中,我們提到過一些慢SQL優化的步驟。其中就包括:使用 explain 關鍵字來查看執行計劃,是否命中索引。通過計算某列的區分度,來判斷該列是否適合新建索引…