MYSQL如何插入數據,效率會更高

在MySQL中,插入數據的效率可以通過多種方式逐步提升。以下是從簡單到復雜的優化路徑,幫助你逐步提高數據插入的性能:

一、基礎插入:逐條插入

這是最基礎的插入方式,適用于少量數據的插入操作。雖然簡單,但效率較低,因為每次插入都需要與數據庫建立連接并發送請求。

示例:

INSERT INTO table_name (column1, column2) VALUES (value1, value2);

缺點:

每次插入都需要建立連接和提交事務。
適合小數據量,不適合大數據量。

二、批量插入(VALUES方式)

這是MySQL中推薦的批量插入方式,通過一次SQL語句插入多條數據,減少與數據庫的交互次數。

示例:

INSERT INTO table_name (column1, column2) 
VALUES 
(value1, value2), 
(value3, value4), 
(value5, value6);

優點:

一次插入多條數據,減少網絡開銷。
適合中等規模的數據插入。
注意事項:

SQL語句長度不能超過MySQL的max_allowed_packet限制。
如果數據量太大,可能會導致內存溢出或插入失敗。

三、分批次插入(分片+事務)

當數據量非常大時,可以將數據分成多個批次進行插入,每個批次使用事務提交,避免一次性插入過多數據導致性能問題。

示例(Java + MyBatis):

List<User> userList = ...; // 所有數據
int batchSize = 1000; // 每批插入1000條
for (int i = 0; i < userList.size(); i += batchSize) {List<User> batch = userList.subList(i, Math.min(i + batchSize, userList.size()));userMapper.batchInsert(batch);
}

優點:

分批次插入可以避免內存溢出。
事務提交可以保證數據一致性。
適合大數據量插入。
注意事項:

每次插入的批次大小需要根據實際情況調整,通常在1000~5000條之間。
如果使用MyBatis,可以結合ExecutorType.BATCH來提高性能。

四、使用LOAD DATA INFILE(高級方式)

這是MySQL中最快的數據導入方式,適用于從文本文件導入大量數據。它通過讀取文件一次性加載數據,避免了逐條插入的開銷。

示例:

LOAD DATA INFILE '/path/to/data.txt'
INTO TABLE table_name
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n';

優點:

速度遠快于INSERT語句。
適合從文件導入大量數據。
注意事項:

需要確保文件路徑可訪問。
需要配置MySQL的local_infile參數為ON。
適用于ETL、數據遷移等場景。

五、使用JDBC批量插入(rewriteBatchedStatements)

在JDBC連接中設置rewriteBatchedStatements=true,可以開啟MySQL的批量插入優化功能,自動將多個INSERT語句合并為一個。

示例(Java連接URL):

String url = "jdbc:mysql://localhost:3306/mydb?rewriteBatchedStatements=true";

優點:

自動優化SQL語句,提高插入效率。
適合MyBatis等ORM框架。
注意事項:

需要確保MySQL版本支持該參數。
與MyBatis結合使用時,可以進一步優化性能。

六、使用MyBatis的批量插入(推薦)

MyBatis提供了批量插入的功能,可以通過foreach標簽生成批量插入語句,并結合事務管理來提高性能。

示例(MyBatis XML):

<insert id="batchInsert" parameterType="java.util.List">INSERT INTO table_name (column1, column2)VALUES<foreach collection="list" item="model" index="index" separator=",">(#{model.column1}, #{model.column2})</foreach>
</insert>

示例(Java代碼):

SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
try {UserMapper userMapper = sqlSession.getMapper(UserMapper.class);for (User user : userList) {userMapper.insert(user);}sqlSession.commit();
} finally {sqlSession.close();
}

優點:

支持MyBatis的批量處理功能。
事務管理保證數據一致性。
適合復雜業務場景。
注意事項:

需要配置ExecutorType.BATCH。
每次插入的批次大小需要合理設置。

七、使用LOAD DATA命令(最高效方式)

對于從文件導入數據的場景,LOAD DATA是最高效的方式。它通過讀取文件一次性加載數據,避免了逐條插入的開銷。

示例:

LOAD DATA INFILE '/path/to/data.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES; -- 忽略表頭

優點:

速度最快,適合大規模數據導入。
無需事務管理,適合ETL、數據遷移等場景。
注意事項:

需要確保文件路徑可訪問。
需要配置MySQL的local_infile參數為ON。
適合批量導入數據,不適合實時插入

總結:從簡單到最優的插入方式

最佳實踐建議

優先使用LOAD DATA INFILE:對于從文件導入數據的場景,這是最高效的方式。

合理設置批量大小:根據數據量和內存限制,設置合適的批次大小(通常在1000~5000條之間)。

使用事務管理:在批量插入時,使用事務管理保證數據一致性。

開啟JDBC批量插入:在JDBC連接中設置
rewriteBatchedStatements=true,提高插入效率。

避免使用UUID主鍵:在插入數據時,按主鍵順序插入,可以減少索引維護成本。

通過以上方法,你可以逐步優化MySQL的插入性能,提高數據處理效率。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/86454.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/86454.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/86454.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Rabbitmq的五種消息類型介紹,以及集成springboot的使用

交換機類型 Fanout Exchange 扇型交換機&#xff0c;這個交換機沒有路由鍵概念&#xff0c;就算你綁了路由鍵也是無視的。 這個交換機在接收到消息后&#xff0c;會直接轉發到綁定到它上面的所有隊列 Direct Exchange 直連型交換機&#xff0c;根據消息攜帶的路由鍵將消息投遞…

日語學習-日語知識點小記-進階-JLPT-真題訓練-N2階段(4):2022年12月2023年12月

日語學習-日語知識點小記-進階-JLPT-真題訓練-N2階段&#xff08;4&#xff09;&#xff1a;2022年12月&2023年12月 1、前言&#xff08;1&#xff09;情況說明&#xff08;2&#xff09;工程師的信仰&#xff08;3&#xff09;真題訓練 2、2個卷的單詞部分1、 真題-2023年…

從代碼學習深度強化學習 - Actor-Critic 算法 PyTorch版

文章目錄 前言算法原理1. 從策略梯度到Actor-Critic2. Actor 和 Critic 的角色3. Critic 的學習方式:時序差分 (TD)4. Actor 的學習方式:策略梯度5. 算法流程代碼實現1. 環境與工具函數2. 構建Actor-Critic智能體3. 組織訓練流程4. 主程序:啟動訓練5. 實驗結果總結前言 在深…

Python 數據分析與可視化 Day 8 - Pandas 高級操作技巧

? 今日目標 掌握 Pandas 的索引體系&#xff08;Index / MultiIndex&#xff09;使用 set_index() 和 reset_index() 管理數據索引理解 pivot_table 與 melt、stack/unstack 重塑數據形態初步理解“寬表”與“長表”在數據分析與可視化中的應用場景 &#x1f4da; 一、深入理…

Spring Boot整合百度AI人臉比對實戰

目錄 一、簡述 二、依賴 三、代碼步驟 3.1 實體注入 3.2 服務實現 3.3 其它實現 四、小結 歡迎來到 盹貓(>^ω^<)的博客 本篇文章主要介紹了 [Spring Boot整合百度AI人臉比對實戰] ?博主廣交技術好友&#xff0c;喜歡文章的可以關注一下? 一、簡述 人臉識別在日…

使用 pip 安裝 numpy 包卡在 Preparing metadata 階段問題解決

TOC 1 問題描述 使用 pip 安裝numpy卡在下面最后一行的階段&#xff1a; Collecting numpy1.26.4 (from -r requirements.txt (line 2))Using cached https://mirrors.aliyun.com/pypi/packages/65/6e/09db70a523a96d25e115e71cc56a6f9031e7b8cd166c1ac8438307c14058/numpy-…

新手向:Anaconda3的安裝與使用方法

我們在剛開始接觸Python時使用的是Python的直接編譯器,如果我們需要進行其他的項目編寫往往需要使用另一個版本的Python ,這樣反復的下載很是麻煩并且還會造成系統變量的紊亂.這次我們引入Anaconda3,可創建虛擬的Python環境,滿足不同項目的需要,當不用的時候可以直接放心刪除不…

C#中的設計時構造函數

以下是關于設計時構造函數的詳細整理&#xff0c;包括定義、適用場景、相關概念和實際應用&#xff1a; 一、設計時構造函數的定義 設計時構造函數&#xff08;Design-time Constructor&#xff09;是專門為開發工具&#xff08;如Visual Studio、Blazor Designer等&#xff0…

Spring Boot 2.x 項目搭建 (一)

以下是基于Spring Boot 2.x&#xff08;兼容JDK 1.8&#xff09;的項目搭建指南及Markdown文檔生成方案&#xff0c;整合了多個搜索結果中的最佳實踐&#xff1a; 一、項目初始化 1. 使用Spring Initializr創建項目 步驟&#xff1a; 訪問 start.spring.io 或通過IDE&#x…

Kotlin作用域函數:掌握apply/let/run/with/also精髓

一、作用域函數詳解 1. apply&#xff1a;對調用對象進行配置或操作&#xff0c;并返回該對象本身。 接收者引用&#xff1a;this&#xff08;可省略&#xff0c;直接調用接收者成員&#xff09;返回值&#xff1a;接收者對象本身&#xff08;T&#xff09;核心用途&#xff…

Spring Boot監視器:應用監控終極指南

Spring Boot 監視器詳解 Spring Boot 監視器(Monitor)是用于監控和管理 Spring Boot 應用程序運行狀態的核心組件,主要通過 Spring Boot Actuator 和 Spring Boot Admin 兩大工具實現。 一、核心監視器組件 1. Spring Boot Actuator 功能定位:提供應用程序內部運行狀態的原…

SpringBoot 中 @Transactional 的使用

SpringBoot 中 Transactional 的使用 一、Transactional 的基本使用二、Transactional 的核心屬性三、使用避坑&#xff08;失效場景&#xff09;3.1 自調用問題3.2 異常處理不當3.3 類未被 Spring 管理3.4 異步方法內使用失效 四、工作實踐4.1 事務提交之后執行一些操作4.2 事…

6.26_JAVA_微服務_Elasticsearch

1、ES文檔中keyword意思是&#xff1a;字符串&#xff0c;但不需要分詞 2、ES細節CreateIndexRequest request new CreateIndexRequest("items");會讓你導包&#xff0c;會有兩個選擇&#xff1a; import org.elasticsearch.action.admin.indices.create.CreateInd…

Java 大視界 -- 基于 Java 的大數據可視化在智慧城市能源消耗動態監測與優化決策中的應用(324)

Java 大視界 -- 基于 Java 的大數據可視化在智慧城市能源消耗動態監測與優化決策中的應用&#xff08;324&#xff09; 引言&#xff1a;正文&#xff1a;一、Java 驅動的能源數據采集與預處理基建1.1 多源異構數據合規接入層&#xff08;ISO 50001IEC 61850 雙標準適配&#x…

C++ 快速回顧(二)

C 快速回顧&#xff08;二&#xff09; 前言一、友元類二、友元函數三、深淺拷貝淺拷貝深拷貝 前言 用于快速回顧之前遺漏或者補充C知識 一、友元類 友元的優點是可以快速的輕松的訪問的原本由于私有保護的字段和函數&#xff0c;同時這也是它的缺點這樣破壞了原本封裝性。 …

ldl-DeserializationViewer一款強大的序列化數據可視化工具

ldl-DeserializationViewer 一款強大的序列化數據可視化工具&#xff0c;能夠將Java序列化的緩存數據轉換為可讀的JSON格式&#xff0c;無需原始DTO類定義。 A powerful visualization tool for serialized data that converts Java serialized cache data to readable JSON f…

NetworkSecurity SIG成立,助力國產操作系統安全生態發展

近期&#xff0c;ZeroOnes實驗室團隊成員在OpenAtom openKylin&#xff08;簡稱“openKylin”&#xff09;社區發起成立NetworkSecurity SIG&#xff0c;負責基于openKylin系統開展網絡安全工具的研發與適配&#xff0c;助力國產操作系統安全生態發展。 ZeroOnes實驗室專注于網…

回歸任務與分類任務的區別

回歸任務&#xff08;Regression&#xff09;與分類任務&#xff08;Classification&#xff09;是機器學習的兩大核心任務類型&#xff0c;其根本區別在于輸出變量的性質和任務目標。以下是系統性對比&#xff1a; 1. 本質區別&#xff1a;輸出變量類型 任務類型輸出&#xf…

Webshell工具的流量特征分析(菜刀,蟻劍,冰蝎,哥斯拉)

Webshell工具的流量特征分析&#xff08;菜刀&#xff0c;蟻劍&#xff0c;冰蝎&#xff0c;哥斯拉&#xff09; 0x00 前言 使用各種的shell工具獲取到目標權限&#xff0c;即可進行數據操作&#xff0c;今天來簡要分析一下目前常使用的各類shell管理工具的流量特診&#xff…

【linux】全志Tina配置swupdate工具進行分區打包

一、文件路徑 1、描述文件&#xff1a; .\build\swupdate\sw-description-ab 2、鏡像打包文件&#xff1a; .\build\swupdate\sw-subimgs-ab.cfg 二、文件作用 1、sw-description-ab 用于描述版本信息和ab區中要打包的分區信息以及掛載點。 2、sw-subimgs-ab.cfg 用于…