【轉載文章】記錄一次MySQL兩千萬數據的大表優化解決過程，提供三種解決方案...

問題概述

使用阿里云rds for MySQL數據庫（就是MySQL5.6版本），有個用戶上網記錄表6個月的數據量近2000萬，保留最近一年的數據量達到4000萬，查詢速度極慢，日常卡死。嚴重影響業務。

問題前提：老系統，當時設計系統的人大概是大學沒畢業，表設計和sql語句寫的不僅僅是垃圾，簡直無法直視。原開發人員都已離職，到我來維護，這就是傳說中的維護不了就跑路，然后我就是掉坑的那個！！！

我嘗試解決該問題，so，有個這個日志。

方案概述

  • 方案一：優化現有mysql數據庫。優點：不影響現有業務，源程序不需要修改代碼，成本最低。缺點：有優化瓶頸，數據量過億就玩完了。

  • 方案二：升級數據庫類型，換一種100%兼容mysql的數據庫。優點：不影響現有業務，源程序不需要修改代碼，你幾乎不需要做任何操作就能提升數據庫性能，缺點：多花錢

  • 方案三：一步到位，大數據解決方案，更換newsql/nosql數據庫。優點：擴展性強，成本低，沒有數據容量瓶頸，缺點：需要修改源程序代碼

以上三種方案，按順序使用即可，數據量在億級別一下的沒必要換nosql，開發成本太高。三種方案我都試了一遍，而且都形成了落地解決方案。該過程心中慰問跑路的那幾個開發者一萬遍 :)

方案一詳細說明：優化現有mysql數據庫

跟阿里云數據庫大佬電話溝通 and Google解決方案 and 問群里大佬，總結如下（都是精華）：

  • 1.數據庫設計和表創建時就要考慮性能

  • 2.sql的編寫需要注意優化

  • 4.分區

  • 4.分表

  • 5.分庫

1.數據庫設計和表創建時就要考慮性能

mysql數據庫本身高度靈活，造成性能不足，嚴重依賴開發人員能力。也就是說開發人員能力高，則mysql性能高。這也是很多關系型數據庫的通病，所以公司的dba通常工資巨高。

設計表時要注意：

  • 表字段避免null值出現，null值很難查詢優化且占用額外的索引空間，推薦默認數字0代替null。

  • 盡量使用INT而非BIGINT，如果非負則加上UNSIGNED（這樣數值容量會擴大一倍），當然能使用TINYINT、SMALLINT、MEDIUM_INT更好。

  • 使用枚舉或整數代替字符串類型

  • 盡量使用TIMESTAMP而非DATETIME

  • 單表不要有太多字段，建議在20以內

  • 用整型來存IP

索引

  • 索引并不是越多越好，要根據查詢有針對性的創建，考慮在WHERE和ORDER BY命令上涉及的列建立索引，可根據EXPLAIN來查看是否用了索引還是全表掃描

  • 應盡量避免在WHERE子句中對字段進行NULL值判斷，否則將導致引擎放棄使用索引而進行全表掃描

  • 值分布很稀少的字段不適合建索引，例如"性別"這種只有兩三個值的字段

  • 字符字段只建前綴索引

  • 字符字段最好不要做主鍵

  • 不用外鍵，由程序保證約束

  • 盡量不用UNIQUE，由程序保證約束

  • 使用多列索引時主意順序和查詢條件保持一致，同時刪除不必要的單列索引

簡言之就是使用合適的數據類型，選擇合適的索引


選擇合適的數據類型 （1）使用可存下數據的最小的數據類型，整型 < date,time < char,varchar < blob （2）使用簡單的數據類型，整型比字符處理開銷更小，因為字符串的比較更復雜。如，int類型存儲時間類型，bigint類型轉ip函數 （3）使用合理的字段屬性長度，固定長度的表會更快。使用enum、char而不是varchar （4）盡可能使用not null定義字段 （5）盡量少用text，非用不可最好分表 # 選擇合適的索引列 （1）查詢頻繁的列，在where，group by，order by，on從句中出現的列 （2）where條件中<，<=，=，>，>=，between，in，以及like 字符串+通配符（%）出現的列 （3）長度小的列，索引字段越小越好，因為數據庫的存儲單位是頁，一頁中能存下的數據越多越好 （4）離散度大（不同的值多）的列，放在聯合索引前面。查看離散度，通過統計不同的列值來實現，count越大，離散程度越高：

原開發人員已經跑路，該表早已建立，我無法修改，故：該措辭無法執行，放棄！

2.sql的編寫需要注意優化

  • 使用limit對查詢結果的記錄進行限定

  • 避免select *，將需要查找的字段列出來

  • 使用連接（join）來代替子查詢

  • 拆分大的delete或insert語句

  • 可通過開啟慢查詢日志來找出較慢的SQL

  • 不做列運算：SELECT id WHERE age + 1 = 10，任何對列的操作都將導致表掃描，它包括數據庫教程函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊

  • sql語句盡可能簡單：一條sql只能在一個cpu運算；大語句拆小語句，減少鎖時間；一條大sql可以堵死整個庫

  • OR改寫成IN：OR的效率是n級別，IN的效率是log(n)級別，in的個數建議控制在200以內

  • 不用函數和觸發器，在應用程序實現

  • 避免%xxx式查詢

  • 少用JOIN

  • 使用同類型進行比較，比如用'123'和'123'比，123和123比

  • 盡量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描

  • 對于連續數值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5

  • 列表數據不要拿全表，要使用LIMIT來分頁，每頁數量也不要太大

原開發人員已經跑路，程序已經完成上線，我無法修改sql，故：該措辭無法執行，放棄！

引擎

引擎

目前廣泛使用的是MyISAM和InnoDB兩種引擎：

  1. MyISAM

  2. MyISAM引擎是MySQL 5.1及之前版本的默認引擎，它的特點是：

  • 不支持行鎖，讀取時對需要讀到的所有表加鎖，寫入時則對表加排它鎖

  • 不支持事務

  • 不支持外鍵

  • 不支持崩潰后的安全恢復

  • 在表有讀取查詢的同時，支持往表中插入新紀錄

  • 支持BLOB和TEXT的前500個字符索引，支持全文索引

  • 支持延遲更新索引，極大提升寫入性能

  • 對于不會進行修改的表，支持壓縮表，極大減少磁盤空間占用

  1. InnoDB

  2. InnoDB在MySQL 5.5后成為默認索引，它的特點是：

  • 支持行鎖，采用MVCC來支持高并發

  • 支持事務

  • 支持外鍵

  • 支持崩潰后的安全恢復

  • 不支持全文索引

總體來講，MyISAM適合SELECT密集型的表，而InnoDB適合INSERT和UPDATE密集型的表

MyISAM速度可能超快，占用存儲空間也小，但是程序要求事務支持，故InnoDB是必須的，故該方案無法執行，放棄！

3.分區

MySQL在5.1版引入的分區是一種簡單的水平拆分，用戶需要在建表的時候加上分區參數，對應用是透明的無需修改代碼

對用戶來說，分區表是一個獨立的邏輯表，但是底層由多個物理子表組成，實現分區的代碼實際上是通過對一組底層表的對象封裝，但對SQL層來說是一個完全封裝底層的黑盒子。MySQL實現分區的方式也意味著索引也是按照分區的子表定義，沒有全局索引

用戶的SQL語句是需要針對分區表做優化，SQL條件中要帶上分區條件的列，從而使查詢定位到少量的分區上，否則就會掃描全部分區，可以通過EXPLAIN PARTITIONS來查看某條SQL語句會落在那些分區上，從而進行SQL優化，我測試，查詢時不帶分區條件的列，也會提高速度，故該措施值得一試。

分區的好處是：

  • 可以讓單表存儲更多的數據

  • 分區表的數據更容易維護，可以通過清楚整個分區批量刪除大量數據，也可以增加新的分區來支持新插入的數據。另外，還可以對一個獨立分區進行優化、檢查、修復等操作

  • 部分查詢能夠從查詢條件確定只落在少數分區上，速度會很快

  • 分區表的數據還可以分布在不同的物理設備上，從而搞笑利用多個硬件設備

  • 可以使用分區表賴避免某些特殊瓶頸，例如InnoDB單個索引的互斥訪問、ext3文件系統的inode鎖競爭

  • 可以備份和恢復單個分區

分區的限制和缺點：

  • 一個表最多只能有1024個分區

  • 如果分區字段中有主鍵或者唯一索引的列，那么所有主鍵列和唯一索引列都必須包含進來

  • 分區表無法使用外鍵約束

  • NULL值會使分區過濾無效

  • 所有分區必須使用相同的存儲引擎

分區的類型：

  • RANGE分區：基于屬于一個給定連續區間的列值，把多行分配給分區

  • LIST分區：類似于按RANGE分區，區別在于LIST分區是基于列值匹配一個離散值集合中的某個值來進行選擇

  • HASH分區：基于用戶定義的表達式的返回值來進行選擇的分區，該表達式使用將要插入到表中的這些行的列值進行計算。這個函數可以包含MySQL中有效的、產生非負整數值的任何表達式

  • KEY分區：類似于按HASH分區，區別在于KEY分區只支持計算一列或多列，且MySQL服務器提供其自身的哈希函數。必須有一列或多列包含整數值

  • 具體關于mysql分區的概念請自行google或查詢官方文檔，我這里只是拋磚引玉了。

我首先根據月份把上網記錄表RANGE分區了12份，查詢效率提高6倍左右，效果不明顯，故：換id為HASH分區，分了64個分區，查詢速度提升顯著。問題解決！

結果如下：PARTITION BY HASH (id)PARTITIONS 64

select count() from readroom_website; --11901336行記錄

/?受影響行數: 0 已找到記錄: 1 警告: 0 持續時間 1 查詢: 5.734 sec.?/

select * from readroom_website where month(accesstime) =11 limit 10;

/?受影響行數: 0 已找到記錄: 10 警告: 0 持續時間 1 查詢: 0.719 sec. */

4.分表

分表就是把一張大表，按照如上過程都優化了，還是查詢卡死，那就把這個表分成多張表，把一次查詢分成多次查詢，然后把結果組合返回給用戶。

分表分為垂直拆分和水平拆分，通常以某個字段做拆分項。比如以id字段拆分為100張表： 表名為 tableName_id%100

但：分表需要修改源程序代碼，會給開發帶來大量工作，極大的增加了開發成本，故：只適合在開發初期就考慮到了大量數據存在，做好了分表處理，不適合應用上線了再做修改，成本太高！！！而且選擇這個方案，都不如選擇我提供的第二第三個方案的成本低！故不建議采用。

5.分庫

把一個數據庫分成多個，建議做個讀寫分離就行了，真正的做分庫也會帶來大量的開發成本，得不償失！不推薦使用。

方案二詳細說明：升級數據庫，換一個100%兼容mysql的數據庫

mysql性能不行，那就換個。為保證源程序代碼不修改，保證現有業務平穩遷移，故需要換一個100%兼容mysql的數據庫。

  1. 開源選擇

  • tiDB https://github.com/pingcap/tidb

  • Cubrid https://www.cubrid.org/

  • 開源數據庫會帶來大量的運維成本且其工業品質和MySQL尚有差距，有很多坑要踩，如果你公司要求必須自建數據庫，那么選擇該類型產品。

  1. 云數據選擇

  • 阿里云POLARDB

  • https://www.aliyun.com/product/polardb?spm=a2c4g.11174283.cloudEssentials.47.7a984b5cS7h4wH

官方介紹語：POLARDB 是阿里云自研的下一代關系型分布式云原生數據庫，100%兼容MySQL，存儲容量最高可達 100T，性能最高提升至 MySQL 的 6 倍。POLARDB 既融合了商業數據庫穩定、可靠、高性能的特征，又具有開源數據庫簡單、可擴展、持續迭代的優勢，而成本只需商用數據庫的 1/10。

我開通測試了一下，支持免費mysql的數據遷移，無操作成本，性能提升在10倍左右，價格跟rds相差不多，是個很好的備選解決方案！

  • 阿里云OcenanBase

  • 淘寶使用的，扛得住雙十一，性能卓著，但是在公測中，我無法嘗試，但值得期待

  • 阿里云HybridDB for MySQL (原PetaData)

  • https://www.aliyun.com/product/petadata?spm=a2c4g.11174283.cloudEssentials.54.7a984b5cS7h4wH

官方介紹：云數據庫HybridDB for MySQL （原名PetaData）是同時支持海量數據在線事務（OLTP）和在線分析（OLAP）的HTAP（Hybrid Transaction/Analytical Processing）關系型數據庫。

我也測試了一下，是一個olap和oltp兼容的解決方案，但是價格太高，每小時高達10塊錢，用來做存儲太浪費了，適合存儲和分析一起用的業務。

  • 騰訊云DCDB

  • https://cloud.tencent.com/product/dcdb_for_tdsql

官方介紹：DCDB又名TDSQL，一種兼容MySQL協議和語法，支持自動水平拆分的高性能分布式數據庫——即業務顯示為完整的邏輯表，數據卻均勻的拆分到多個分片中；每個分片默認采用主備架構，提供災備、恢復、監控、不停機擴容等全套解決方案，適用于TB或PB級的海量數據場景。

騰訊的我不喜歡用，不多說。原因是出了問題找不到人，線上問題無法解決頭疼！但是他價格便宜，適合超小公司，玩玩。

方案三詳細說明：去掉mysql，換大數據引擎處理數據

數據量過億了，沒得選了，只能上大數據了。

  1. 開源解決方案

  2. hadoop家族。hbase/hive懟上就是了。但是有很高的運維成本，一般公司是玩不起的，沒十萬投入是不會有很好的產出的！

  3. 云解決方案

  4. 這個就比較多了，也是一種未來趨勢，大數據由專業的公司提供專業的服務，小公司或個人購買服務，大數據就像水/電等公共設施一樣，存在于社會的方方面面。

  5. 國內做的最好的當屬阿里云。

  6. 我選擇了阿里云的MaxCompute配合DataWorks，使用超級舒服，按量付費，成本極低。

  7. MaxCompute可以理解為開源的Hive，提供sql/mapreduce/ai算法/python腳本/shell腳本等方式操作數據，數據以表格的形式展現，以分布式方式存儲，采用定時任務和批處理的方式處理數據。DataWorks提供了一種工作流的方式管理你的數據處理任務和調度監控。

  8. 當然你也可以選擇阿里云hbase等其他產品，我這里主要是離線處理，故選擇MaxCompute，基本都是圖形界面操作，大概寫了300行sql，費用不超過100塊錢就解決了數據處理問題。


作者：王帥??http://database.51cto.com/art/201902/592522.htm

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/449407.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/449407.shtml
英文地址，請注明出處：http://en.pswp.cn/news/449407.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

50期權趨勢賣方

50期權趨勢賣方

#!/usr/bin/env python # coding:utf-8 from PoboAPI import * import datetime import time import numpy as np from copy import * import pandas as pd #設定持倉細節數據表 #g.df = {}g.df = pd.DataFrame(columns = [date,code,price,volume,stoploss,iv]) print(type(g.…
閱讀更多...
一周工作60個小時并不值得驕傲，這是個問題！

一周工作60個小時并不值得驕傲，這是個問題！

本文由 極客范 - yesky 翻譯自 Jeff Archibald。歡迎加入極客翻譯小組&#xff0c;同我們一道翻譯與分享。轉載請參見文章末尾處的要求。當我們聲稱自己在這周&#xff0c;上周或是上個月超負荷地工作了多少時間時&#xff0c;一種自豪感便會油然而生。 我之所以這么說是因為…
閱讀更多...
Linux查看文件大小的幾種方法

Linux查看文件大小的幾種方法

轉自&#xff1a;https://blog.csdn.net/xiongyangg/article/details/54809810 stat命令stat filepathxanarryThinkPad:/$ stat ~/Downloads/jdk-8u60-linux-x64.tar.gzFile: /home/xanarry/Downloads/jdk-8u60-linux-x64.tar.gzSize: 181238643 Blocks: 353984 IO B…
閱讀更多...
2019.03.27【GDOI2019】模擬 T3

2019.03.27【GDOI2019】模擬 T3

題目大意 給出$n$, $p$, 求有多少長度為$n$的排列可以被分成三個上升子序列, 數量對$p$取模, 數據范圍 $3 \leq n \leq 500$. 思路 首先讓我們考慮如果有一個排列,如何判斷這個排列合法,我可以考慮貪心,維護三個上升序列的末尾(最大值),從左到右依次將數插入序列,把這個數貪心的…
閱讀更多...
DOM的那些事

DOM的那些事

到底調用函數時要不要加&#xff08;&#xff09;&#xff1f; 在html中&#xff0c;onclick后必須接字符串調用&#xff0c;而在js中則必須接函數進行調用。 addEventListener和click區別 onclick只是一個屬性&#xff0c;且是唯一的。其只能綁定一個事件&#xff0c;容易在不…
閱讀更多...
真格量化-隱含波動率購買

真格量化-隱含波動率購買

# coding:utf-8 #!/usr/bin/env python from PoboAPI import * import datetime import numpy as np #50ETF 和 50ETF期權的對沖交易，當ETF隱含波動率較高時就買50ETF并做空50ETF看漲期權#開始時間，用于初始化一些參數 def OnStart(context) :print("system starting...…
閱讀更多...
能讓你成為更優秀程序員的10個C語言資源

能讓你成為更優秀程序員的10個C語言資源

本文由 伯樂在線 - archychu 翻譯自 mycplus。歡迎加入 技術翻譯小組。轉載請參見文章末尾處的要求。一些人覺得編程無聊&#xff0c;一些人覺得它很好玩。但每個程序員都必須緊跟編程語言的潮流。大多數程序員都是從C開始學習編程的&#xff0c;因為C是用來寫操作系統、應用程…
閱讀更多...
解決 -- 代碼沒有問題時接口報錯：Status Code: 404 Not Found

解決 -- 代碼沒有問題時接口報錯：Status Code: 404 Not Found

前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 我能確定這個工程的接口代碼肯定沒有問題&#xff0c;這時請求接口依舊報 404。 如&#xff1a; 經過多方檢查 最終確認問題原因&…
閱讀更多...
滲透測試學習

滲透測試學習

滲透學習路線&#xff1a;https://www.sec-wiki.com/skill/2 經常應該瀏覽的網站&#xff1a;www.freebuf.comdrops.wooyun.orgwww.sec-wiki.com/www.t00ls.net/www.91ri.orghttp://fex.baidu.com/blog/2014/05/what-happen/了解了web訪問網頁的基本過程http://www.qianxingzhe…
閱讀更多...
java版開源工作流引擎ccflow從表數據數據源導入設置

java版開源工作流引擎ccflow從表數據數據源導入設置

為什么80%的碼農都做不了架構師&#xff1f;>>> 關鍵字馳騁工作流引擎 流程快速開發平臺 workflow ccflow jflow .net開源工作流 從表數據導入設置 概要說明在從表的使用中我一般都會用到從數據庫引入一些數據到表單中&#xff0c;這時候就需要有一個功能能夠查詢…
閱讀更多...
真格量化——中性策略交易期權

真格量化——中性策略交易期權

#!/usr/bin/env python # coding:utf-8 from PoboAPI import * import datetime import time import numpy as np from copy import *import pandas as pd #設定持倉細節數據表 #g.df = {}g.df = pd.DataFrame(columns = [date,code,price,volume,stoploss,iv]) g.a = [] g.b =…
閱讀更多...
一周消息樹：程序員想找好工作？那就學好Linux！

一周消息樹：程序員想找好工作？那就學好Linux！

摘要&#xff1a;從一小眾化的系統發展到今天在國際上支撐著絕大部分公司的重量級系統&#xff0c;Liunx現在被越來越多的公司重視。而Linux人才卻沒有跟上&#xff0c;為此&#xff0c;MongoDB公司的副總裁Matt Asay給軟件開發者們一個建議&#xff1a;要學好Linux。 近期&…
閱讀更多...
注解@Cacheable(value =“XXX“) 實現緩存 -- 失效原因

注解@Cacheable(value =“XXX“) 實現緩存 -- 失效原因

前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 一個項目中使用到了注解緩存&#xff0c;但無論怎么檢查都不生效&#xff0c;反復確認緩存的使用本身應該沒有出錯。 最后確認原因&…
閱讀更多...
讀書筆記011：《傷寒論》- 手厥陰心包經

讀書筆記011：《傷寒論》- 手厥陰心包經

手厥陰心主起胸&#xff0c;屬包下膈三焦宮&#xff0c;支者循胸出脅下&#xff0c;脅下連腋三寸同。仍上抵腋循臑內&#xff0c;太陰、少陰兩經中&#xff0c;指透中沖支者別&#xff0c;小指次指絡相通。此經少氣原多血&#xff0c;是動則病手心熱&#xff0c;肘臂攣急腋下腫…
閱讀更多...
真格量化——做空波動率賣期權策略

真格量化——做空波動率賣期權策略

# coding:utf-8 #!/usr/bin/env python # EmuCounter2 from PoboAPI import * import datetime import numpy as np#開始時間，用于初始化一些參數 def OnStart(context) :print "system starting..."#設定全局變量品種g.code1 = "m1901-C-3300.DCE" #豆粕…
閱讀更多...
支撐4.5億活躍用戶的WhatsApp架構概覽

支撐4.5億活躍用戶的WhatsApp架構概覽

摘要&#xff1a;不顧谷歌CEO阻攔&#xff0c;WhatsApp最終以190億美元的價格花落Facebook。能獲如此天價與其月4.5億的活躍用戶是分不開的&#xff0c;同樣不可或缺的還有支撐每日數百億消息的高可靠架構。 【編者按】以190億美元的價格出售給Facebook&#xff0c;交易談判過…
閱讀更多...
C++ 常用函數總結

C++ 常用函數總結

平時常用C刷一些算法題&#xff0c;C內置了許多好用的工具函數&#xff0c;但時間一長總是容易忘記&#xff0c;這里簡單做一下總結&#xff0c;方便復習&#xff01; <stdlib.h> atoi(const char* str)將一串字符轉換為int型atof(const char* str)同上&#xff0c;轉換為…
閱讀更多...
注解驅動的 Spring cache 緩存介紹

注解驅動的 Spring cache 緩存介紹

概述 前些天發現了一個巨牛的人工智能學習網站&#xff0c;通俗易懂&#xff0c;風趣幽默&#xff0c;忍不住分享一下給大家。點擊跳轉到教程。 Spring 3.1 引入了激動人心的基于注釋&#xff08;annotation&#xff09;的緩存&#xff08;cache&#xff09;技術&#xff0c;…
閱讀更多...
真格量化——50etf與期權對沖策略

真格量化——50etf與期權對沖策略

# coding:utf-8 #!/usr/bin/env python from PoboAPI import * import datetime import numpy as np #50ETF 和 50ETF期權的對沖交易，當ETF隱含波動率較高時就買50ETF并做空50ETF看漲期權#開始時間，用于初始化一些參數 def OnStart(context) :print("system starting...…
閱讀更多...
如何用Linux命令行管理網絡：11個你必須知道的命令

如何用Linux命令行管理網絡：11個你必須知道的命令

本文由 極客范 - jerrylee 翻譯自 Chris Hoffman。歡迎加入極客翻譯小組&#xff0c;同我們一道翻譯與分享。轉載請參見文章末尾處的要求。無論你是要下載文件、診斷網絡問題、管理網絡接口&#xff0c;還是查看網絡的統計數據&#xff0c;都有終端命令可以來完成。這篇文章收…
閱讀更多...
最新文章

Copyright @ 2022~2023