插入數據優化

目錄

一.插入數據優化

1.insert語句優化

①批量插入

②手動提交事務

③主鍵順序插入

2.大批量插入數據(100萬條)

舉例

第一步:連接數據庫時,加上--local-infile屬性

第二步:查看全局參數local_infile的值,如果為0,則需要設置為1

第三步:根據領導給的表結構sql文件,創建表結構

第四步:將領導給的包含100w條數據的sql文件,傳入linux虛擬機上

第五步:執行load語句,將100萬條數據,從該文件中導入tb_user表中


一.插入數據優化

1.insert語句優化

對于insert語句的方式插入數據,可以從下面三種角度進行insert語句的優化

①批量插入

我們可以一個insert語句,插入多行數據,而不是一個insert語句只插入一行數據。

比如我們數據庫需要100條數據,我們可以每個insert語句插入10條數據,寫10個insert語句即可。

②手動提交事務

每執行一條insert語句前/后,都會自動開啟/提交事務。

比如執行3條insert語句,就會開啟3次事務,提交3次事務,很頻繁。

因此我們可以在執行insert語句前,開啟事務,等到所有insert語句執行完畢后,再統一提交事務即可。

③主鍵順序插入

我們使用insert語句插入數據時,可以按照每行數據的主鍵從小到大插入,這樣性能比較好。

2.大批量插入數據(100萬條)

舉例

需求場景:在公司,領導給你一個包含100萬條數據的sql文件和一個表結構sql文件,讓你給這100萬條數據導入數據庫,你如何做?做法如下。

第一步:連接數據庫時,加上--local-infile屬性

第二步:查看全局參數local_infile的值,如果為0,則需要設置為1

第三步:根據領導給的表結構sql文件,創建表結構
CREATE TABLE `tb_user` (`id` INT(11) NOT NULL AUTO_INCREMENT,`username` VARCHAR(50) NOT NULL,`password` VARCHAR(50) NOT NULL,`name` VARCHAR(20) NOT NULL,`birthday` DATE DEFAULT NULL,`sex` CHAR(1) DEFAULT NULL,PRIMARY KEY (`id`),UNIQUE KEY `unique_user_username` (`username`)
) ENGINE=INNODB DEFAULT CHARSET=utf8 ;

第四步:將領導給的包含100w條數據的sql文件,傳入linux虛擬機上

如下圖,可見該文件每一行用換行符\n分隔,每一個字段使用逗號分隔,一共100w條數據。

第五步:執行load語句,將100萬條數據,從該文件中導入tb_user表中

load data local infile '/root/load_user_100w_sort.sql' into table tb_user fields terminated by ',' lines terminated by '\n';

解讀:以上橙色是數據文件在linux磁盤上的位置;紫色是數據庫表的名稱;藍色是每一個字段的分隔符;紅色是每一行的分隔符。

以上就是使用load語句,向表中導入100w條數據的全部過程。

喜歡本篇文章的話,可以留個免費的關注呦~

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/87880.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/87880.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/87880.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

區塊鏈在域名系統安全中的應用進展綜述

一、區塊鏈與DNS結合的核心原理1.1 傳統DNS的安全缺陷中心化架構:傳統DNS依賴中心化服務器(如ICANN管理的根服務器),存在單點故障風險,易受DDoS攻擊或配置錯誤影響。協議脆弱性:DNS協議設計之初缺乏加密和認…

GO Web 框架 Gin 完全解析與實踐

目錄 1. 為什么選擇 Gin?解鎖 Go Web 開發的超能力 Gin 的核心優勢 什么時候用 Gin? 第一個 Hello World 2. 路由的藝術:從簡單 GET 到復雜匹配 基礎路由 高級路由技巧 性能優化小貼士 3. 中間件的魔法:讓請求處理更聰明 內置中間件 自定義中間件 中間件的最佳實…

RabbitMQ使用topic Exchange實現微服務分組訂閱

案例場景:用戶下單后需要多個微服務(如營銷、會員)分別訂閱并處理訂單事件,且每個微服務可能有多個集群實例,需要保證同一個微服務的集群中,只有一個實例消費到消息。不同于Kafka和rocketMQ有分組消費的功能…

kotlin 通道trysend方法

trySend 方法是 Kotlin 協程中 Channel 類的一個重要功能。它用于向通道發送元素,但與 send 方法不同的是,trySend 是非阻塞的。這意味著它不會在通道滿時掛起當前協程,而是會立即返回。 trySend 方法的效果 非阻塞行為: 當你調用…

winform CheckedListBox單擊選中解決方案

在WinForms的CheckedListBox控件中,默認需要雙擊才能切換選中狀態(復選框勾選)。要實現單擊即選中,需要通過代碼處理鼠標點擊事件并手動切換選中狀態。以下是實現步驟: 1.CheckOnClick屬性置為true即可。 2.通過事件處…

Docker文件操作、數據卷、掛載

一:容器文件操作 在Docker環境中,管理容器內部的文件是一個常見的需求。 無論是為了配置應用、備份數據還是調試問題,了解如何高效地進行文件操作都是非常重要的。 docker cp命令提供了一種簡單的方法來在宿主主機和容器之間復制文件或目錄…

接口漏洞怎么抓?Fiddler 中文版 + Postman + Wireshark 實戰指南

接口安全是現代應用開發中的高危環節:一旦API存在未授權訪問、參數篡改、權限繞過等漏洞,可能直接導致用戶信息泄露、資金損失甚至整個平臺癱瘓。對于開發和安全人員來說,光依賴后端日志排查遠遠不夠,需要對接口進行主動安全性驗證…

iOS 出海 App 安全加固指南:無源碼環境下的 IPA 加固與防破解方法

隨著越來越多國內開發團隊將iOS App推向海外市場,如何在交付和分發環節保護應用安全成為出海過程中的重要議題。尤其是App進入多個海外應用商店或通過第三方渠道發行時,容易被當地黑產或競爭對手進行逆向分析,從而暴露內部API、核心業務流程等…

React Hooks 內部實現原理與函數組件更新機制

React Hooks 內部實現原理與函數組件更新機制 Hooks 的內部實現原理 React Hooks 的實現依賴于以下幾個關鍵機制: 1. 鏈表結構存儲 Hook 狀態 React 使用單向鏈表來管理 Hooks 的狀態。每個 Hook 節點包含: type Hook {memoizedState: any, // 存儲…

分布式會話的演進和最佳實踐,含springBoot 實現(Java版本)

一、分布式會話的背景 在微服務架構或集群部署環境下,請求可能落在不同的服務器節點,無法再依賴本地內存來維護用戶 Session。因此,需要一種跨節點共享 Session 的機制,這就是 分布式會話管理的核心目標。二、分布式會話的演進歷程…

ch03 部分題目思路

G. 收集 由于稀有度相同的物品需要一起處理&#xff0c;我們先把他們聚集到一起。 類似這樣&#xff1a; vector<int> g[maxn]; ... {cin >> x >> c;g[c].push_back(x); }那么我們需要一個貪心的思路&#xff1a; 肯定是按 ccc 從小往大收集的&#xff1b;對…

Django多表查詢(ORM)

1、建立表結構 三個表&#xff1a;book、Author、publisher。 書籍和作者是多對多的關系&#xff0c;一本書可以有多個作者&#xff0c;一個作者可以有多本書。 出版社和書籍是一對多的關系&#xff0c;一個出版社可以出版多本書&#xff08;多方&#xff0c;多方定義外鍵&…

C# 集合表達式和展開運算符 (..) 詳解

集合表達式 (Collection Expressions)基本語法支持的集合類型展開運算符 (..)基本用法實際應用示例創建新集合合并集合與現有API結合性能考慮高級用法多維集合自定義集合注意事項與傳統方式的比較總結集合表達式 (Collection Expressions) C# 12 引入了集合表達式&#xff0c;…

數學視頻動畫引擎Python庫 -- Manim Voiceover 安裝 Installation

文中內容僅限技術學習與代碼實踐參考&#xff0c;市場存在不確定性&#xff0c;技術分析需謹慎驗證&#xff0c;不構成任何投資建議。 Manim Voiceover 是一個為 Manim 打造的專注于語音旁白的插件&#xff1a; 直接在 Python 中添加語音旁白&#xff1a; 無需使用視頻編輯器&…

Git安裝避坑指南:新手村通關秘籍

Git安裝避坑指南&#xff1a;新手村通關秘籍 剛學編程那會兒&#xff0c;Git安裝差點讓我砸鍵盤。滿心歡喜打開官網下載&#xff0c;結果卡在配置上&#xff0c;命令行死活不認識git命令。看著教程里別人行云流水的操作&#xff0c;自己對著報錯信息干瞪眼——這感覺&#xff…

如何修改Siteground max_execution_time值?

這個值在Siteground 上是修改不了的。 以下是來自Siteground 官網的解釋&#xff1a; 由于服務器上全局定義的 PHP 限制&#xff0c;某些 PHP 設置無法更改。最常見的無法更改的 PHP 設置包括&#xff1a; memory_limit max_execution_time max_input_time post_max_size up…

【libm】 11 fmin函數 (fmin.rs)

一、源碼 這段代碼實現了一個符合 IEEE 754-2008 標準的 minNum 函數&#xff08;在 Rust 中命名為 fmin&#xff09;&#xff0c;該功能在 IEEE 754-2019 標準中已被 minimumNumber 取代。 /* SPDX-License-Identifier: MIT OR Apache-2.0 */ //! IEEE 754-2008 minNum. Thi…

React 英語單詞消消樂一款專為英語學習設計的互動式記憶游戲

&#x1f4d6; 項目簡介 英語單詞消消樂 是一款專為英語學習設計的互動式記憶游戲。通過經典的消消樂玩法&#xff0c;讓用戶在輕松愉快的游戲中掌握英語單詞&#xff0c;提高詞匯量和記憶效果。 &#x1f3af; 項目目標 讓英語學習變得有趣且高效通過游戲化方式增強單詞記憶…

Qt:QPushButton、QRadioButton、QCheckBox

目錄 一、QPushButton 1.認識QPushButton 2.設置按鈕圖標 3.設置按鈕的快捷鍵 二、QRadioButton 常用的信號 按鈕的分組 三、QCheckBox 一、QPushButton 1.認識QPushButton QPushButton繼承自QWidget&#xff0c;所以在上一篇文章中介紹的QWidget的屬性&#xff0c;理…

docker 無法拉取鏡像解決方法

目錄 我在omv中通過后臺頁面拉取alist鏡像總是失敗&#xff0c;原因千奇百怪 今天再戰終于解決首先&#xff0c;到dockerhub找鏡像和wiki進入docker賬號設置 找到里面提示了登錄操作和密碼命令行中執行后會提示成功之后按需配置代理&#xff0c;同時檢查自己的配置檢查 Docker …