1.MySQL數據目錄
MySQL服務器的管理信息、業務數據、?志?件、磁盤緩沖?件默認存儲在數據?錄下.數據目錄保存了我們用戶的信息,以及我們創建的數據庫和表的數據.維護了日志文件等.mysqld主要操作的就是我們的數據目錄.
如何查看數據目錄:
ll /var/lib/mysql#ll 是查看指令
#/var/lib/mysql 是數據目錄文件的路徑數據目錄包括的東西:
1.二進制日志:主要是處理我們mysql集群,一個主服務器負責寫操作,主服務器就會有一個二進制日志,將寫操作以二進制文件的形式寫入二進制文件.而其他的從服務器(負責查詢操作) 會有一個中繼日志負責讀取主服務器的二進制日志從而獲取最新的寫操作(指的是對數據的增刪改).
2.SSL和RSA證書和密鑰文件:
? ? ? ? SSL作用:
? ? ? ? ? ? ? ? a.加密通信:前面在網絡的時候我們介紹到過,這里也是一樣的,使用非對稱加密和對稱加密結合的方式
? ? ? ? ? ? ? ? b.SSL 證書可用于驗證服務器和客戶端的身份。服務器證書用于證明 MySQL 服務器的身份，客戶端在連接時會驗證該證書以確認連接到正確的服務器，防止中間人攻擊
? ? ? ? ? ? ? ? c.SL 協議具備校驗機制，能確保傳輸的數據在傳輸過程中沒有被修改。一旦數據被篡改，通信雙方可立刻發現?
RSA 是一種非對稱加密算法，在 MySQL 證書體系中：
- 密鑰對生成：RSA 算法用于生成公鑰和私鑰對。公鑰包含在證書中，可被公開分發；私鑰由服務器或客戶端安全保存。在 SSL 握手過程中，利用公鑰和私鑰進行加密和解密操作，協商出用于后續數據加密傳輸的對稱加密密鑰 。
? ??
3.雙寫緩沖區文件
InnoDB 默認數據頁大小為 16KB ，而操作系統內存頁常為 4KB，即一個 InnoDB 頁對應 4 個系統頁。數據寫入磁盤時，若因斷電、系統崩潰等意外，可能出現只寫入部分系統頁的情況，導致數據頁損壞。
4.我們自己創建的數據庫也會保存在數據目錄
5.mysql?錄對應于mysql系統庫，包含mysql服務器運?時所需的信息，該數據庫包含數據字典 表和系統表
6.performance_schema?錄對應于PerformanceSchema，提供了在運?時?于檢查服務器內 部執?的信息；
7.sys?錄對應于sys系統庫，提供?組對象來幫助解釋性能模式相關信息；
2.日志簡介
| 日志類型 | 說明 |
| 一般查詢日志(General log) | 已建?的客?端連接和從客?端接收到的語句 |
| 錯誤日志(Error log) | mysqld在啟動、運?或停?時遇到的問題 |
| 二進制日志 | 更改數據的語句（也?于主從復制） |
| 慢查詢日志(slow query log) | 執?時間超過 long_query_time 指定秒數的查詢 |
| 中繼日志 | 從源服務器接收到的數據更改 |
| DDL日志 | DDL語句執?的操作 |
| 回滾?志/撤銷?志(undolog) | ?于事務的回滾操作 |
| 重做?志(redolog) | ?于服務器崩潰恢復 |
1.默認情況下，除Windows上的錯誤?志外，不啟?任何?志，Linux下默認開啟錯誤?志和?進制?志?
2.在服務器運?期間可以控制?般查詢和慢查詢?志的禁?與開啟，也可以更改?志?件名(支持動態修改)
3.?般查詢?志和慢查詢?志記錄可以寫??志表、?志?件或兩者同時寫?
4.默認情況下，所有啟?的?志將寫?數據?錄，可以通過刷新?志強制服務器關閉并重新打開?志?件
5.通過 FLUSH LOGS 語句刷新?志來強制服務器關閉并重新打開?志?件，也可以使? mysqladmin的 flush-logs 或 refresh 參數，或mysqldump的--flush-logs 或-master-data 選項
6.中繼?志僅?于主從復制過程中的從服務器。
2.1 一般查詢日志和慢查詢日志輸出形式
如果啟用一般查詢日志和慢查詢日志,日志的輸出方式可以指定為日志文件和表的形式(mysql系統庫中的general_log(一般查詢日志)和slow_log(慢查詢日志)).兩者也可以同時指定
2.2.1 服務器啟動時日志控制
log_out指的是日志輸入的方式,并不會真正的開始日志輸出.log_out可以有三個值:FILE(文件形式),TABLE(表的形式),NONE(不輸出).可以同時指定多個值,中間用逗號隔開.未指定的時候默認值是FILE.如果我們同時指定了(FILE,NONE)或者(TABLE,NONE).結果都是按照NONE(不輸出).也就是只要是指定了NONE就不輸出(NONE的優先級最高).
一般查詢日志開啟:通過指定general_log系統變量為0(關閉),1(開啟).如果要為日志指定自定義的路徑或者文件名可以使用general_log_file系統變量.
實例:(在配置文件 my.cnf 中設置)
1.將一般查詢日志寫入文件和表
[mysqld]#日志文件的輸出形式log_out=FILE,TABLE#開始日志general_log=12.僅將?般查詢?志和慢查詢?志寫??志表
[mysqld]#日志文件的輸出形式log_out=TABLE#開始一般查詢日志general_log=1#開始慢查詢日志slow_log=13.僅將慢查詢?志寫??志?件
[mysqld]#日志輸出形式log_out=FILE#開啟慢查詢日志slow_log=14.將?般查詢?志和慢查詢?志寫??志?件，并指定?定義的?志路徑
[mysqld]#?志?件
log_output=FILE #開啟?般查詢?志
general_log=1 #指定?定義的?件名
general_log_file=/var/lib/mysql/general.log #開啟慢查詢?志
slow_query_log=1 #指定?定義的?件名
slow_query_log_file=/var/lib/mysql/slow_query.log修改上述配置文件之后一般都要重新啟動MySQL服務器.
#重啟mysql服務器
systemctl restart mysql#查看mysql服務器狀態
systemctl status mysql
?查看我們設置的日志配置文件是否生效
配置文件
一般查詢日志是否開啟
一般查詢日志路徑
慢查詢日志是否開啟
慢查詢日志路徑
2.2.2 使用表查看一般查詢日志和慢查詢日志
查看表內包含字段:
#\G作為結束標識符結果會以垂直格式輸出
# ; \g 結果會以表格形式呈現#查看一般查詢日志的表內字段
show create table mysql.general_log\G#查看慢查詢日志的表內字段
show create table mysql.slow_log\G一般查詢日志
?慢查詢日志
接下來介紹下一般查詢日志.
3.一般查詢日志
其實就是將我們所有操作sql的語句都保存到日志中了
1.General query log-?般查詢?志，記錄客?端連接或斷開連接的信息，也會記錄從客?端接收的 每個SQL語句。如果開啟將會產??量的內容，?常耗費服務器資源，所以默認為關閉(不開啟)， 要啟??般查詢?志可以使? general_log=0(禁用)或者1(開啟).
2.默認?志?件名為 主機名?.log ，可以使?general_log_file={自定義文件名}
3.Mysqld按照接收到SQL語句的順序將語句寫?查詢?志，這個順序可能與語句執?的順序不同
表結構如下:
?分析每個字段的作用:
如果我們想要查看操作的語句需要使用 CAST(argument AS char).
#使用CAST(argument AS char)
select event_time,user_host,thread_id,server_id,command_type,CAST(argument AS char) from mysql.general_log\G
4.慢查詢日志
1.慢查詢?志由執?時間超過系統變量 long_query_time?指定的秒數的SQL語句組成，并且檢查的?數?于系統變量min_examined_row_limit 指定值.long_query_time和min_examined_row_limit都滿足的時候才是慢查詢.
2.獲取初始鎖的時間不計?執?時間，mysqld在執?完SQL語句并釋放所有鎖后才將符合條件的語 句寫?慢速查詢?志，因此?志順序可能與執?順序不同。
4.1 慢查詢日志的參數
long_query_time:默認時間為10s
?min_examined_row_limit(默認行數為0行)
只有都滿足才會定義為慢sql,才會將這條sql語句存儲到慢查詢日志中
1.默認情況下，不記錄管理語句(數據庫的創建、用戶權限管理、備份恢復、性能監控等)，也不記錄不使?索引的查詢(在創建數據庫的時候一般會將id作為主鍵,也就是生成了主鍵索引.不記錄不使用索引的查詢就是查詢數據的時候沒有使用id字段的查詢).
下面這種查詢語句就是沒有使用索引(默認即使符合慢查詢也不會被記錄,如果想要被記錄就修改)
2.默認為關閉(不開啟)，要啟?慢查詢?志可以使?：請使?--slow_query_log[={0|1}]
3.默認?志?件名為 host_name-slow.log ，可以使? slow_query_log_file= file_name 修改
4.使?--log-short-format 選項，以簡要格式記錄慢查詢?志
5.要記錄管理語句，啟? log_slow_admin_statements 系統變量。
6.要記錄不使?索引的查詢，啟? log_queries_not_using_indexes 系統變量。當記錄不使 ?索引的查詢時，?志會快速增?，通過設置系統變量log_throttle_queries_not_using_indexes 限制每分鐘寫?慢查詢?志同類查詢的數 量，默認值是0，表??限制
4.2 慢查詢日志的內容(文件)
Query_time:SQL語句執行的時間,單位是秒
Lock_time:獲取到鎖的時間,單位秒
Rows_sent:發送到客戶端的行數(也就是返回的結果集的行數)
Rows_examined:服務器檢查的行數(服務器掃描數據表中具體數據行的數量)
啟?--log-slow-extra[={OFF|ON}]系統變量會將以下額外字段寫?到FILE中，TABLE形式不受影 響?
Thread_id: 線程標識符
Errno: 錯誤碼，沒有發?錯誤則為0
Killed: 如果語句被終?，?錯誤碼表?原因，如果語句正常終?則為0
Bytes_received: 接收到SQL語句的Bytes值。
Bytes_sent: 返回給客?端的Byte值。
Read_first: 索引中第?個條?被讀取的次數，如果這個值很?，表明服務器正在執?? 量完整索引掃描
Read_last: 讀取索引中最后?個鍵的請求數
Read_key: 基于索引讀取??數據的請求數。如果這個值很?，表明表為當前查詢建?了 正確的索引
Read_next: 按索引排序讀取下??的請求數，查詢具有范圍約束的索引列，或者進?索引 掃描，此值將遞增。
Read_prev: 按索引排序讀取前??的請求數。主要?于優化ORDERBY DESC。
Read_rnd: 基于固定位置讀取??的請求數。這個值很?表?，正在執??量需要對結果進 ?排序的查詢，可能有很多查詢進?了全表掃描整，或者沒有正確使?索引的連接
Read_rnd_next: 讀取數據?件中下??的請求數。如果進??量的表掃描，這個值會很 ?。通常，表?表沒有建?正確地索引，或者查詢沒有利?索引。
Sort_merge_passes: 排序算法完成的歸并次數，如果這個值很?，考慮增加 sort_buffer_size 系統變量的值。
Sort_range_count: 使?范圍進?排序的次數
Sort_rows: 排序的?數。 ?
Sort_scan_count: 通過掃描表完成的排序數。
Created_tmp_disk_tables: 服務器在執?語句時創建內部磁盤臨時表的數量。 Created_tmp_tables: 服務器在執?語句時創建的內部臨時表的數量。
Start: 執?SQL語句開始時間
End: 執?SQL語句結束時間
4.3用表的形式輸出
mysql> show create table mysql.slow_log\G
5.錯誤日志
錯誤?志?般會記錄mysqld啟動和關閉的次數、診斷消息，以及服務器運?期間發?的錯誤和警 告；例如MySQL需要?動檢查或修復?個表，就會在錯誤?志中寫??條記錄。錯誤?志默認使? UTF-8 ( utf8mb3 )編碼格式，并使?英語?成記錄.
5.1配置錯誤日志文件
錯誤?志輸出的位置，可以是控制臺或指定?件，"控制臺"表?stderr 標準錯誤輸出。
5.1.1 Windows路徑下
在Windows系統中，mysqld使??--log-error和--console 選項來確定默認的錯誤?志?標是控制臺還是?件，規則如下：
1.如果指定了--console 選項，默認在控制臺輸出錯誤?志，如果--console 和--log error 同時指定，則--console 優先級更?，并且--log-error 將失效。
2.如果沒有指定--log-error 或者沒有指定具體的?件名，默認在數據?錄中?成名為host_name.err 的日志文件
3.可以通過指定絕對路徑，來更改默認的?志位置。
[mysqld]
#?定義錯誤?志的路徑log-error=D:/log/MySQL/Error/error_log.err
5.1.2 Linux下
在Unix和Linux系統中，mysqld使?--log-error 選項來指定默認錯誤?志?標，可以指定控制臺或是?件，如果是?件，規則如下
1.如果錯誤?志輸出?標是控制臺，則服務器將 log_error 系統變量設置為 stderr .否則，將 以?件形式輸?錯誤?志，并以 log_error 的值為?件名
2.如果顯?寫出--log-error 但沒有指定具體?件，則默認路徑是數據?錄中host_name.err 的?件
3.可以通過指定絕對路徑，來更改默認的?志位置
[mysqld]
#?定義錯誤?志的路徑
log-error=/var/log/mysql/error_log.err
5.2 錯誤日志中事件的字段
time ：件時間戳，精度為微秒；
msg ：事件消息字符串；
prio ：事件優先級，包括 System event-系統(0)、 Error event-錯誤(1)、 Warning event-警告(2)或 Note/information event-通知/提?事件(3)，值越?優先級越?；
MySQL內部維護的一套錯誤代碼的定義
err_code ：事件錯誤代碼；
err_symbol ：以字符串形式表?的事件錯誤符，例如 'ER_DUP_KEY' ；
SQL_state ：事件SQLSTATE值，與 err_symbol 對應，例如 'ER_DUP_KEY' 對應的 SQLSTATE為23000
subsystem ：事件發?的?系統。可能的值： InnoDB (InnoDB存儲引擎）、 Repl (復制?系 統)、 Server (其他)。
#查看日志文件
cat /var/log/mysql/'日志文件名'
錯誤日志官網:
MySQL :: MySQL 8.0 Error Reference :: 4 Global Error Message Reference
https://dev.mysql.com/doc/mysql-errors/8.0/en/global-error-reference.html#error_ee_sync
5.3 刷新錯誤日志和重命名
如果使? FLUSH ERROR LOGS 、 FLUSH LOGS 語句或 mysqladmin flush-logs 命令刷 新錯誤?志，服務器會將正在寫?的任何錯誤?志?件關閉并重新打開。
如果要?動重命名錯誤?志?件，可以在重命名操作之后執?刷新操作，服務器會以原?件名?成 ?個新的錯誤?志?件，例如?志?件名為 host_name .err ，可以按以下步驟操作：
#重命名?志?件
mv host_name.err host_name.err-old # 刷新操作
mysqladmin flush-logs # 把重命名的?志?件移動到備份?錄
mv host_name.err-old backup-directory
6.二進制日志
二進制日志可以用于MySQL集群用來主從復制.下面先簡單介紹下MySQL集群.在我們項目訪問量比較小.沒必要對數據庫進行分庫分表.但是如果項目突然爆火,訪問量驟增.此時數據庫就頂不住壓力此時就要使用MySQL集群.就是一個主服務器負責寫操作,其他的從服務器負載查詢操作.
那么如何實現數據同步呢?主服務器修改了數據如何將修改的數據同步給從服務器?
這里就使用到我們的二進制日志(主服務器修改完數據庫后會存儲到二進制日志),從服務器會有一個中繼日志,二進制日志會將數據同步到從服務器的中繼日志里,從服務器讀取中繼日志獲取信息.
6.1 介紹
?進制?志包含數據庫更改的"事件"，不會記錄 SELECT 和 SHOW ，例如：記錄表的創建操作或 表數據的更改，?進制?志還包含每個語句更新數據時花費的時間信息，啟動?進制?志，對服務 器性能稍微有些影響；
除了基于?的?志模式，它還包含可能進?更改數據的語句事件，例如 DELETE 操作沒有匹配到 查找到的?
二進制日志的作用:
主從節點數據復制:上面簡單介紹了
數據恢復：從某個時間點恢復備份數據后，將重新執?備份時間點之后記錄在?進制?志中的 事件。這些事件使數據庫從備份點更新到當前最新狀態。
?進制?志的語句中如果涉及??的密碼，則由服務器進?加密，不會以純?本形式出現
6.2查看二進制日志的系統變量
#查看二進制日志的系統變量
show variables like '%bin%';
6.3 查看二進制日志的狀態變量
#查看二進制日志的狀態變量
show status like '%bin%';
6.4 二進制日志分析
1.默認情況下啟??進制?志， log_bin 系統變量?ON
2.禁??進制?志，可以指定 --skip-log-bin 或--disable-log-bin 選項。如果同時指--log-bin 則后指定的選項優先；
3.選項--log-bin[= base_name] ?于指定?進制?志?件的基本名稱，如果不指定 bin 選項，默認基本名稱為 binlog ，建議為?進制?志指定?個基本名；
4.?進制?志?件名是由基本名+數字擴展名組成的，服務器每次創建?個新的?志?件時，數字擴展名都會增加，從?保證有序的?件系列，發?以下事件時，服務器都會在創建?個新的?志?件
服務器已啟動或重新啟動
服務器刷新?志
當前?志?件的??達到 max_binlog_size (單個?志?件的最?字節數，最?值4096字 節，最?值和默認值1GB).
TIPS:?進制?志?件??可能會超出 max_binlog_size 設定的值，因為?進制?志在記錄事務 時，會完整的記錄整個事務，不存在把?個事務拆分的情況，如果遇到?個?事務時，即使記錄 整個事務會超過?志??限制，也會保證事務的完整性
5.mysqld還會創建?個包含?進制?志?件名的?志索引?件，默認情況下，這與?進制?志?件 具有相同的基本名稱，擴展名為 .index . 可以使?選項--log-bin-index[= file_name] 修改索引?件名
6.?進制?志?件和索引?件的默認位置是數據?錄。可以使?--log-bin[= file_name] 格式=絕對路徑+基本名。 指定?定義路徑， file_name] 選項--log-bin 對應的系統變量是 log_bin_basename?
注意下面四個選項或者系統變量:
7.MySQL5.7中，啟??進制?志必須指定服務器ID，對應 server_id 選項啟動。否則服務器將?法啟動.在MySQL8.0中 server_id 系統變量默認設置為1，在集群環境中，每臺MySQL服務 器必須有唯?的service_id
6.5 查看二進制日志
6.5.1 使用客戶端工具mysqlbinlog查看
mysqlbinlog binlog.000003 > binlog.000003
6.5.2 使用mysql 語句查看
mysql> show binlog events in 'binlog.000001' from N limit S;
6.6 二進制日志格式
1.基于語句的?志格式，最初MySQL是基于SQL語句復制實現主從節點同步，
通過指定選項 --binlog-format=STATEMENT 使?此格式
2.基于?的?志格式(默認)中，主節點將事件寫??進制?志，表?各個表的?受到的影響，可以通 過指定選項--binlog-format=ROW 使?此格式?
#
基于?，記錄每??的更改
update student set age = 18 where id = 10;update student set age = 18 where id = 11;update student set age = 18 where id = 12;3.混合?志記錄格式，默認情況下使?基于語句的?志記錄，如果MySQL認為基于語句的格式不能保 證主從復制過程中的數據安全時，會?動切換到基于?的?志格式
6.7 服務器日志維護
MySQL服務器可以創建多種不同的?志?件來幫助我們查看服務器的活動。但是必須定期清理這 些?件，以免?志占?過多的磁盤空間。在啟??志的情況下，通常希望備份和刪除舊的?志?件， 并把?志寫到新?件。
默認?進制?志的過期時間為30天，過期后將?動刪除，要指定?定義過期時間，可以使?系統變 量 binlog_expire_logs_seconds=N 單位為秒，在下?次啟動服務器和刷新?志時刪除過期 ?志?件.
強制使?新的?志?件可以?動刷新?志，當執??FLUSH LOGS 語句或 mysqladmin refresh logs 、 mysqldump --flush-logs 、 mysqladmin flush mysqldump - master-data 命令時，會發??志刷新。此外當?進制?志?件??達到 max_binlog_size 系統變量指定的值時，服務器會?動刷新?進制?志.
F LUSH LOGS ?持可選的修飾符以啟?個別?志的選擇性刷新
FLUSH BINARY LOGS # 刷新?進制?志FLUSH ERROR LOGS # 刷新錯誤?志FLUSH GENERAL LOGS # 刷新?般查詢?志FLUSH RELAY FLUSH LOGS #刷新中繼?志SLOW LOGS #刷新慢查詢?志
)