MySQL:分庫分表知識點盤點

本篇內容包括:數據庫瓶頸、分庫分表以及分庫分表相關問題

一、數據庫瓶頸

不管是IO瓶頸,還是CPU瓶頸,最終都會導致數據庫的活躍連接數增加,進而逼近甚至達到數據庫可承載活躍連接數的閾值。在業務Service來看就是,可用數據庫連接少甚至無連接可用。接下來就可以想象了吧(并發量、吞吐量、崩潰)。

1、IO瓶頸

第一種:磁盤讀IO瓶頸,熱點數據太多,數據庫緩存放不下,每次查詢時會產生大量的IO,降低查詢速度 -> 分庫和垂直分表。

第二種:網絡IO瓶頸,請求的數據太多,網絡帶寬不夠 -> 分庫。

2、CPU瓶頸

第一種:SQL問題,如SQL中包含 join,group by,order by,非索引字段條件查詢等,增加 CPU 運算的操作 -> SQL優化,建立合適的索引,在業務 Service 層進行業務計算。

第二種:單表數據量太大,查詢時掃描的行太多,SQL效率低,CPU率先出現瓶頸 -> 水平分表


二、分庫分表

1、水平分庫

img
  1. 概念:以字段為依據,按照一定策略(hash、range等),將一個庫中的數據拆分到多個庫中。
  2. 結果:
  • 每個庫的結構都一樣;
  • 每個庫的數據都不一樣,沒有交集;
  • 所有庫的并集是全量數據;

場景:系統絕對并發量上來了,分表難以根本上解決問題,并且還沒有明顯的業務歸屬來垂直分庫。

分析:庫多了,io和cpu的壓力自然可以成倍緩解。

2、水平分表

img
  1. 概念:以字段為依據,按照一定策略(hash、range等),將一個表中的數據拆分到多個表中。
  2. 結果:
  • 每個表的結構都一樣;
  • 每個表的數據都不一樣,沒有交集;
  • 所有表的并集是全量數據;

場景:系統絕對并發量并沒有上來,只是單表的數據量太多,影響了SQL效率,加重了CPU負擔,以至于成為瓶頸。

分析:表的數據量少了,單次SQL執行效率高,自然減輕了CPU的負擔。

3、垂直分庫

img
  1. 概念:以表為依據,按照業務歸屬不同,將不同的表拆分到不同的庫中。
  2. 結果:
  • 每個庫的結構都不一樣;
  • 每個庫的數據也不一樣,沒有交集;
  • 所有庫的并集是全量數據;

場景:系統絕對并發量上來了,并且可以抽象出單獨的業務模塊。

分析:到這一步,基本上就可以服務化了。例如,隨著業務的發展一些公用的配置表、字典表等越來越多,這時可以將這些表拆到單獨的庫中,甚至可以服務化。再有,隨著業務的發展孵化出了一套業務模式,這時可以將相關的表拆到單獨的庫中,甚至可以服務化。

4、垂直分表

img
  1. 概念:以字段為依據,按照字段的活躍性,將表中字段拆到不同的表(主表和擴展表)中。
  2. 結果:
  • 每個表的結構都不一樣;
  • 每個表的數據也不一樣,一般來說,每個表的字段至少有一列交集,一般是主鍵,用于關聯數據;
  • 所有表的并集是全量數據;

場景:系統絕對并發量并沒有上來,表的記錄并不多,但是字段多,并且熱點數據和非熱點數據在一起,單行數據所需的存儲空間較大。以至于數據庫緩存的數據行減少,查詢時會去讀磁盤數據產生大量的隨機讀IO,產生IO瓶頸。

分析:可以用列表頁和詳情頁來幫助理解。垂直分表的拆分原則是將熱點數據(可能會冗余經常一起查詢的數據)放在一起作為主表,非熱點數據放在一起作為擴展表。這樣更多的熱點數據就能被緩存下來,進而減少了隨機讀IO。拆了之后,要想獲得全部數據就需要關聯兩個表來取數據。但記住,千萬別用join,因為join不僅會增加CPU負擔并且會講兩個表耦合在一起(必須在一個數據庫實例上)。關聯數據,應該在業務Service層做文章,分別獲取主表和擴展表數據然后用關聯字段關聯得到全部數據。


三、分庫分表相關問題

1、分表后的ID怎么保證唯一性的呢?

因為我們主鍵默認都是自增的,那么分表之后的主鍵在不同表就肯定會有沖突了。有幾個辦法考慮:

  1. 設定步長,比如1-1024張表我們分別設定1-1024的基礎步長,這樣主鍵落到不同的表就不會沖突了。
  2. 分布式ID,自己實現一套分布式ID生成算法或者使用開源的比如雪花算法這種
  3. 分表后不使用主鍵作為查詢依據,而是每張表單獨新增一個字段作為唯一主鍵使用,比如訂單表訂單號是唯一的,不管最終落在哪張表都基于訂單號作為查詢依據,更新也一樣。

2、分表后非sharding_key的查詢怎么處理呢?

  1. 可以做一個mapping表,比如這時候商家要查詢訂單列表怎么辦呢?不帶user_id查詢的話你總不能掃全表吧?所以我們可以做一個映射關系表,保存商家和用戶的關系,查詢的時候先通過商家查詢到用戶列表,再通過user_id去查詢。
  2. 打寬表,一般而言,商戶端對數據實時性要求并不是很高,比如查詢訂單列表,可以把訂單表同步到離線(實時)數倉,再基于數倉去做成一張寬表,再基于其他如es提供查詢服務。
  3. 數據量不是很大的話,比如后臺的一些查詢之類的,也可以通過多線程掃表,然后再聚合結果的方式來做。或者異步的形式也是可以的。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535514.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535514.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535514.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

oracle的sga

sga SGA的管理 ■有三種方式: ●8i:SGA的總大小由所有內存組件大小之和決定,不能直接定義SCA大小。對內部組件大小的修改必須在數據庫重起 后 才能生為,所以叫做SGA的靜態管理。 ●9i&#xff…

MySQL:日志知識點盤點

本篇內容包括:binlog(二進制日志)、redo log 以及 undo log 一、binlog(二進制日志) binlog 用于記錄數據庫執行的寫入性操作(不包括查詢)信息,以二進制的形式保存在磁盤中。binlog是mysql的邏輯日志&…

ROWNUM的使用

一個偽列看起來像是一個表中的列,但實際上并不保存在表中。你可以查詢, 但是不能插入,修改和刪除其中的值。一個偽列也類似于一個沒有參數的函 數。但是在典型情況下,在結果集中可以為每一行返回相同的值,而偽列通 常為…

MySQL:主從相關知識點盤點

本篇內容包括:MySQL 主從復制簡介、主從復制的原理以及主從搭建 一、MySQL 主從復制簡介 在實際的生產中,為了解決Mysql的單點故障已經提高MySQL的整體服務性能,一般都會采用**「主從復制」**。 比如:在復雜的業務系統中&#x…

oracle導出expdp

expdp/impdp 是 oracle 10g 版本后推出的服務器端工具--數據泵,作用是為了將數據庫中的邏輯對象,比如表、用戶、全庫、表空間進 行導入,導出 命令解析 ATTACH ATTACH [[schema_name.]job_name] schema_name 表示用戶名,job_name 表示導出的作…

oracle導入impdp

expdp/impdp 是 oracle 10g 版本后推出的服務器端工具--數據泵,作用是為了將數據庫中的邏輯對象,比如表、用戶、全庫、表空間進 行導入,導出REMAP_DATAFILE 該選項用于將源數據文件名轉變為目標數據文件名, 在不同平臺之間搬移表空間時可能需…

oracle高水位線

ORACLE在邏輯存儲上分4個粒度: 表空間, 段, 區 和 塊. 1.1 塊: 是粒度最小的存儲單位,現在標準的塊大小是8K,ORACLE每一次I/O操作也是按塊來操作的,也就是說當ORACLE從數據文件讀數據時,是讀取多少個塊,而不是多少行. 每一個Block里可以包含多個row. 1.2 區:…

oracle檢查點

檢 查 點 概述 ■l當修改數據時,需要首先將數據讀入內存中(Buffer Cache),修改數據的同時,Oracle會記錄重做信息(Redo)用于恢復。因 為有了重做信息的存在,Oracle不需要在提交時…

文獻翻譯:Java theory and practice: Fixing the Java Memory Model, Part 2

Java theory and practice: Fixing the Java Memory Model, Part 2 譯:Java 理論與實踐:修復 Java 內存模型,第 2 部分 翻譯自:http://www.ibm.com/developerworks/library/j-jtp03304/(原文寫于2004年3月&#xff0…

oracle的buffercache

LRU空閑或者干凈的鏈,可以從這里找到未修改的數據LRUW臟鏈,一個臟塊同時掛到了lruw和檢查點隊列,LRUW分冷端和熱端,冷端即為更新頻率較低的一端,熱端為更新頻率較高的一端,dbwn寫入數據文件時從冷端開始寫入…

oracle的undo

Undo段中區的狀態free expiredinactiveactive 顯示UNDO區信息 SELECT extent_ id, bytes, status FROM dba_ _undo_ _extentsWHERE segment_ name SYSSMU1S ; 圖解一一個事務的操作流程 Undo段的組成:段頭、回滾塊 事務ID …

SQLPlus命令詳細說明

SQLPlus命令詳細說明 2011-10-19 17:23:01 分類: Oracle 1. 執行一個SQL腳本文件 SQL>start file_name SQL> file_name 2. 對當前的輸入進行編輯 SQL>edit 3. 重新運行上一次運行的sql語句 SQL>/ 4. 將顯示的內容輸出到指定文件 SQL> S…

oracle的EMCTL

Microsoft Windows [版本 6.1.7601] 版權所有 (c) 2009 Microsoft Corporation。保留所有權利。 C:\Users\Administrator>emctl start dbconsole Environment variable ORACLE_UNQNAME not defined. Please set ORACLE_UNQNAME to da tabase unique name. C:\Users\Administ…

RHEL7 修改SSH默認端口

1.查詢seliunx [roottest10597 ~]# getenforce Enforcing [roottest10597 ~]# semanage port -l|grep ssh ssh_port_t tcp 222.設置selinux端口 [roottest10597 ~]# semanage port -a -t ssh_port_t -p tcp 10022 [roottest10597 ~]# semanage …

oracle預定義異常

NO_DATA_FOUND:執行查詢無數據、引用一個末初使化的表、通過UTL_FILE包調用到尾的文件TOO_MANY_ROWS:采用SELECT INTO語句,但返回的記錄超過了1條DUP_VAL_ON_INDEX:插入或者更新語句,與唯一索引相沖突TIMEOUT_ON_RESOURCE:等待資源…

常用系統函數oracle

單行函數日期函數ADD_MONTHS(date, n):用于從一個日期值增加或減少一些月份 MONTHS_BETWEEN(date1, date2):判斷兩個日期之間相差的月份 LAST_DAY(date): 函數返回包含日期的月份的最后一天 ROUND(date[,fmt]): 將日期d按照fmt指定的格式舍入,fmt為字符串 TRU…

oracle游標

游標(cursor )是一個私有的SQL工作區域,是一個指向上下文區的句柄或指針,位于內存中的 "臨時表"。 游標是SQL的一個內存工作區,由系統或用戶以變量的形式定義。游標的作用就是用于臨時存儲從數據庫中提取的數據塊。在某…

找出占用cpu最高的線程

ps -eo %cpu,pid |sort -n -k1 -r | head -n 1| awk {print $2}| xargs top -b -n1 -Hp | grep COMMAND -A1 |tail -n 1 |awk {print $1}| xargs printf 0x%x ? 在命令行輸入top,然后shiftp查看占用CPU最高的進程,記下進程號 ? 在命令行輸入top -Hp…

系統學習SpringFramework:Spring 概述

本篇內容包括:Spring/SpringFrame 概述、Spring IOC 和 AOP 概述、Spring 全家桶內容概述(包括:Spring Boot、Spring Cloud、Spring Cloud data flow …)等內容! 一、Spring/SpringFrame 概述 Spring 是一個生態體系&…

存儲過程與函數oracle

存儲在數據庫中供所有用戶程序調用的子程序叫做存儲過程,存儲函數。 存儲過程是在大型數據庫系統中,用PL/SQL語言編寫的能完成一定處理功能的存儲在數據庫字典中的程序,它是一個命名的 PL/SQL 塊,經編譯后存儲在數據庫中&#xff…