【mysql】mysql的高級函數、高級用法

mysql是最常用的數據庫之一,常見的函數用法大家應該都很熟悉,本文主要例舉一些相對出現頻率比較少的高級用法
(注:需注意mysql版本,大部分高級特性都是mysql8才有的)

多值索引與虛擬列

主要是解決字符串索引問題,光說概念會比較抽象 我們舉兩個例子來闡述

mysql文檔地址:

https://dev.mysql.com/doc/refman/8.4/en/create-index.html#create-index-multi-valued:~:text=%E7%9A%84%E8%AF%A6%E7%BB%86%E4%BF%A1%E6%81%AF%E3%80%82-,%E5%A4%9A%E5%80%BC%E7%B4%A2%E5%BC%95,-InnoDB%E6%94%AF%E6%8C%81%E5%A4%9A

場景一: 我們日常開發中 經常會使用,分隔 (例如userIds), 但是隨著數據量和需求的增加,會造成效率問題;終極解決方案是拆表 建立一個新的關系表,但如果涉及改動大,拆表是個大工程;有一個技巧就是將數據升級成json格式,為json字段建立索引;如果代碼規范的話 我們只需要修改entity到DTO層的轉換,外部都是調用DTO,改動量小很多;
在這里插入圖片描述
建立索引方式:
在這里插入圖片描述
查詢方式:

-- 索引方式 ref
SELECT * FROM customers   WHERE 94507 MEMBER OF(custinfo->'$.zipcode');
-- 或  (索引方式range)
SELECT * FROM customersWHERE JSON_CONTAINS(custinfo->'$.zipcode', CAST('[94507,94582]' AS JSON));

json數據插入格式:

{"zipcode": [94536, 123]}

場景二: json字符串為普通的k-v 格式,但是我們需要通過對某個字段 例如姓名建立索引
可以建立虛擬列 對虛擬列建立索引
這樣可以簡化查詢代碼 (注意 如果是場景一 數組格式的數組要走索引 則不合適)

CREATE TABLE `file_test_phone` (`id` bigint NOT NULL,`name` varchar(255) COLLATE utf8mb4_unicode_ci DEFAULT NULL,`real_phone` json DEFAULT NULL,`phone` varchar(255) COLLATE utf8mb4_unicode_ci GENERATED ALWAYS AS (json_unquote(json_extract(`real_phone`,_utf8mb4'$.phone'))) VIRTUAL,PRIMARY KEY (`id`),UNIQUE KEY `uk_phone` (`phone`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

json字段插入數據格式:

{"phone": "123"}

將字符串拼接數據拆分

還是上面場景,如果不打算用這種方式,想要用傳統的拆表來實現,拆表很容易,但是會涉及到歷史數據遷移問題。

我們假設舊表 user表 有id 和 role_id字段,其中role_id是逗號分隔,
在這里插入圖片描述

現在希望將role_id拆分出去

我們可以先將逗號拼接的字符串先轉成數組字符串:

update user set role_id  = concat ('[',role_id,']')

在這里插入圖片描述
接著用以下語句數據遷移:


INSERT INTO user_role (id,user_id, role_id)
SELECT UUID_SHORT(),u.id AS user_id,CAST(JSON_UNQUOTE(js.value) AS UNSIGNED) AS role_id
FROM user u
JOIN JSON_TABLE(u.role_id,'$[*]' COLUMNS (value VARCHAR(255) PATH '$')) AS js  
WHERE u.role_id IS NOT NULL  AND JSON_VALID(u.role_id) AND JSON_LENGTH(u.role_id) > 0;

JSON_TABLE 是作用于行數據的,所以我們看不到顯式的join關聯條件,執行后user_role數據示例:

在這里插入圖片描述

分區

(僅討論分區語法 博主個人感覺分區有點雞肋 mysql的這個設計對數據來說或許合理 但對用戶使用來說 并不友好;
當然這也是見仁見智 感興趣可以自行造億級以上數據測試 這是只是提供一種思路)

常用分區策略:

range分區: 比如按照年份分區
list分區:按照枚舉值分區 比如根據省份
hash分區:按哈希值分區,適用于數據比較均勻的場景
key分區:類似HASH分區,但使用MySQL的內部哈希函數

mysql5.1之后就可以分區了 語法為

-- 移除分區
-- ALTER TABLE test_part REMOVE PARTITIONING;
-- 修改表分區 (如果是創建 則在建表語句后面跟上PARTITION )
ALTER TABLE test_part
PARTITION BY RANGE (code) (PARTITION p1 VALUES LESS THAN (100000000),PARTITION p2 VALUES LESS THAN (200000000),PARTITION p3 VALUES LESS THAN (300000000),PARTITION p4 VALUES LESS THAN MAXVALUE
);

建表分區示例

-- 根據年份分區
CREATE TABLE orders (order_id INT NOT NULL,customer_id INT NOT NULL,order_date DATE NOT NULL,total DECIMAL(10, 2),PRIMARY KEY (order_id, order_date)
)
PARTITION BY RANGE (YEAR(order_date)) (PARTITION p2019 VALUES LESS THAN (2020),PARTITION p2020 VALUES LESS THAN (2021),PARTITION p2021 VALUES LESS THAN (2022),PARTITION pmax VALUES LESS THAN MAXVALUE
);

分區可以避免跨表分頁的問題,雖然數據物理隔離了 但是終歸是在同一張表;但是必須注意的一點:分區字段必須是主鍵字段之一;

因為一旦有主鍵,它就成為表的核心約束,MySQL 必須保證 主鍵在全表范圍內唯一,但如果主鍵不包含分區字段,那主鍵值一樣的數據有可能落入不同分區這樣就出現了主鍵沖突,MySQL 沒法檢測這個沖突 —— 所以為了防止這種“隱形沖突”,它強制要求主鍵必須包含分區字段,否則干脆不讓你建表。
這個設計不得不吐槽了,例如oracle就可以做到分區后也全局檢測,所以不用限制主鍵分區

如下圖 分區后反而降低了效率,主鍵本來就是聚促索引 弄成聯合主鍵效率反而可能降低,在博主親測的幾千萬級別數據 是完全沒有必要分區(也沒必要分表) , 不分區 建索引反而會快些
在這里插入圖片描述

但是當表不存在主鍵的時候,最核心的性約束就不是主鍵了,而是唯一索引,這個時候 分區鍵是唯一索引字段就能分區成功了:

CREATE TABLE t1 (col1 INT NOT NULL,col2 DATE NOT NULL,col3 INT NOT NULL,col4 INT NOT NULL,UNIQUE KEY (col1, col2, col3)
)
PARTITION BY HASH(col3)
PARTITIONS 4;
-- 能執行成功
ALTER TABLE user_role_no_id PARTITION BY HASH(user_id) PARTITIONS 4;

那話又說回來,怎么會有大數據量的業務表不存在主鍵呢?
不存在主鍵的表(如配置表、字典表)又怎么會到分區的程度呢
這本身似乎是個悖論,所以我們平常見到的mysql分區應該也比較少;
[重申:本文僅介紹mysql有分區用法,實際使用可能需要斟酌再三]

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/84199.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/84199.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/84199.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

C#日期和時間:DateTime轉字符串全面指南

C#日期和時間:DateTime轉字符串全面指南 在 C# 開發中,DateTime類型的時間格式化是高頻操作場景。無論是日志記錄、數據持久化,還是接口數據交互,合理的時間字符串格式都能顯著提升系統的可讀性和兼容性。本文將通過 20 實戰示例…

Canvas設計圖片編輯器全講解(一)Canvas基礎(萬字圖文講解)

一、前序 近兩年AI發展太過迅速,各類AI產品層出不窮,AI繪圖/AI工作流/AI視頻等平臺的蓬勃發展,促使圖片/視頻等復雜內容的創作更加簡單,讓更多普通人有了圖片和視頻創作的機會。另一方面用戶內容消費也逐漸向圖片和視頻傾斜。在“…

Javase易混點專項復習02_static關鍵字

1. static關鍵字1.1概述1.2修飾一個成員變量例:1.2.1靜態屬性與非靜態屬性示例及內存圖對比 1.3修飾一個方法(靜態方法)1.4.static修飾成員的訪問特點總結1.5動態代碼塊和靜態代碼塊1.5.1動態代碼塊1.5.2 靜態代碼塊 1.6帶有繼承的對象創建過…

C++滑動門問題(附兩種方法)

題目如下&#xff1a; 滑動窗口 - 題目 - Liusers OJ ——引用自OJ網站 方法如下&#xff1a; 1.常規思想 #include<bits/stdc.h> using namespace std; int main() {int n,k;int a[110];cin>>n>>k;for(int i0;i<n;i){cin>>a[i];}for(int i0;i…

mysql連接池druid監控配置

文章目錄 前置依賴啟用配置訪問監控一些問題 前置 連接池有很多類型&#xff0c;比如 c3p0&#xff0c;比如 hikariCP&#xff0c;比如 druid。c3p0 一些歷史項目可能用的比較多&#xff0c;hikariCP 需要高性能的項目比較多&#xff0c;druid 性能也很好&#xff0c;而且還提…

Jetson系統燒錄與環境配置全流程詳解(含驅動、GCC、.Net設置)

Jetson系統燒錄與環境配置全流程詳解&#xff08;含驅動、GCC、.Net設置&#xff09; 目錄1. 準備工作與工具安裝1.1 主機系統要求1.2 安裝 SDK Manager 2. JetPack 系統燒錄流程2.1 Jetson 進入恢復模式2.2 使用 SDK Manager 燒錄 JetPack 3. Jetson 系統基礎設置4. 配置 .Net…

分布式緩存:緩存的三種讀寫模式及分類

文章目錄 緩存全景圖Pre緩存讀寫模式概述1. Cache Aside&#xff08;旁路緩存&#xff09;工作流程優缺點 2. Read/Write Through&#xff08;讀寫穿透&#xff09;工作流程優缺點典型場景 3. Write Behind Caching&#xff08;異步寫回&#xff09;工作流程優缺點典型場景 緩存…

Ntfs!FindFirstIndexEntry函數中ReadIndexBuffer函數的作用是新建一個Ntfs!_INDEX_LOOKUP_STACK結構

第一部分&#xff1a; 0: kd> kc # 00 Ntfs!FindFirstIndexEntry 01 Ntfs!NtfsRestartIndexEnumeration 02 Ntfs!NtfsQueryDirectory 03 Ntfs!NtfsCommonDirectoryControl 04 Ntfs!NtfsFsdDirectoryControl 05 nt!IofCallDriver 06 nt!IopSynchronousServiceTail 07 nt!Nt…

5.24 note

笛卡爾積(?選擇條件 select a.student_name as member_A, b.student_name as member_B, c.student_name as member_C from schoola as a join schoolb as b join schoolc as c where a.student_name ! b.student_name and a.student_name !…

為什么需要在循環里fetch?

假設有多個設備連接在后端,數量不定,需要按個讀回狀態,那么就要在循環里fetch了. 此函數非常好用,來自于國內一個作者,時間久了,忘記了來源,抱歉. export default async function fetchWithTimeout(resource, options {}) {const { timeout 1000 } options;const controll…

不同凈化技術(靜電 / UV / 濕式)的性能對比研究

在餐飲油煙和工業廢氣治理領域&#xff0c;油煙凈化技術的選擇至關重要。目前&#xff0c;靜電、UV 光解、濕式洗滌是市場上應用較為廣泛的三種凈化技術。它們憑借不同的工作原理和技術特性&#xff0c;在凈化效率、能耗、適用場景等方面展現出各自的優勢與局限。本文將從多個維…

Ubuntu 22.04上升級npm版本

如果使用NVM安裝Node.js npm會自動包含&#xff0c;但版本可能不是最新的。你可以選擇升級&#xff1a; # 檢查當前版本 npm --version# 升級到最新版本 npm install -g npmlatest# 或者升級到特定版本 npm install -g npm9.8.1如果使用其他方法安裝Node.js 通常Node.js安裝…

項目管理進階:111頁 詳解華為業務變革框架及戰略級項目管理【附全文閱讀】

BTMS 是一套集成管理系統框架&#xff0c;涵蓋變革規劃、項目執行、實施及生命周期管理等多個關鍵環節。在規劃階段&#xff0c;通過全面收集需求、深入分析現狀&#xff0c;制定出符合業務戰略的年度規劃&#xff0c;明確變革舉措和項目清單。 解決方案開發的 PMOP 流程&#…

java基礎知識回顧1(可用于Java基礎速通)考前,面試前均可用!

目錄 一、初識java 二、基礎語法 1.字面量 2.變量 3.關鍵字 4.標識符 聲明&#xff1a;本文章根據黑馬程序員b站教學視頻做的筆記&#xff0c;可對應課程聽&#xff0c;課程鏈接如下: 02、Java入門&#xff1a;初識Java_嗶哩嗶哩_bilibili 一、初識java Java是美國 sun 公…

Linux下MySQL的安裝與使用

1 安裝前說明 1.1 Linux系統及工具的準備 安裝并啟動好兩臺虛擬機&#xff1a;CentOS 7 掌握克隆虛擬機的操作 mac地址主機名ip地址UUID 安裝有 Xshell 和 Xftp 等訪問 CentOS 系統的工具 CentOS6 和 CentOS7 在 MySQL 的使用中的區別 防火墻&#xff1a;6是iptables&am…

在react項目中使用andt日期組件,選擇周和季度,直接獲取所對應的日期區間

在react項目中使用andt日期組件&#xff0c;選擇周和季度&#xff0c;直接獲取所對應的日期區間 import { DatePicker, Space } from antd; import React from react; const onChange (date, dateString) > {console.log(date,dateString) }; const onChangeweek (date, …

數字信號處理大實驗2 利用FFT估計信號的頻率

目錄 3.1 實驗目的 3.2 實驗內容與要求 3.3 實驗原理 3.3.1 基于時域求導-頻域乘法的n階導數積分法 3.3.2 基于頻域卷積的雙/多譜線插值法 3.3.3 基于譜峰和滑動平均的多譜線綜合插值方法 3.3.4 基于相鄰顯著譜線的滑動平均綜合插值方法 3.3.5 基于&#xff08;2&#…

【Java】Java元注解

Target(ElementType.METHOD) Retention(value RetentionPolicy.RUNTIME) public interface OperatorLog {String source() default "WEB"; //日志操作來源 默認是web&#xff0c;還有socket的String model() default ""; //操作模塊 }這個代碼中的 Target…

阿里云百煉(1) : 阿里云百煉應用問答_回答圖片問題_方案1_提問時上傳圖片文件

直接用于拍照答題不大理想, 可能適用其他用途, 更好的方案: 阿里云百煉(1) : 阿里云百煉應用問答_回答圖片問題_方案2_提取題目再提問-CSDN博客 1.實現代碼 package cn.nordrassil.ly.test.拍照答題;import com.alibaba.dashscope.app.Application; import com.alibaba.dashsc…

深入探索 CSS 中的偽類:從基礎到實戰?

在前端開發的世界里&#xff0c;CSS 作為網頁樣式的 “化妝師”&#xff0c;有著至關重要的作用。而 CSS 偽類則像是這位 “化妝師” 手中的神奇畫筆&#xff0c;能夠基于元素的狀態或位置為其添加獨特的樣式&#xff0c;極大地豐富了網頁的交互性和視覺效果。接下來&#xff0…