關于mybatis插入大批量數據效率問題

一、即便分批次用mybatis插入數據,效率依舊不高,原因:

MyBatis一次性批量插入幾千條數據,為什么性能很差?-騰訊云開發者社區-騰訊云

文中提出:

????????默認執行器類型為Simple,會為每個語句創建一個新的預處理語句,也就是創建一個PreparedStatement對象。在我們的項目中,會不停地使用批量插入這個方法,而因為MyBatis對于含有的語句,無法采用緩存,那么在每次調用方法時,都會重新解析sql語句。

????????從資料可知,耗時就耗在,由于我foreach后有5000+個values,所以這個PreparedStatement特別長,包含了很多占位符,對于占位符和參數的映射尤其耗時。并且,查閱相關資料可知,values的增長與所需的解析時間,是呈指數型增長的。

并且文中總結用mybatis需要將每次插入的記錄控制在 20~50 左右。

但是經本人測試,value數量為500、1000、1500、2000、2500 ... 10000,發現500時,每條數據插入時間為0.1秒左右,10000時,每條數據插入時間0.013秒左右,并未像作者提出的那樣,具體情況不得而知。

最后,還是建議用JDBC,因為真的很快 QAQ

二、批量插入數據效率對比,不同場景所用方案:

Mybatis與JDBC批量插入MySQL數據庫性能測試及解決方案 - 竹馬今安在 - 博客園

三、JDBC批量插入數據

        Connection conn = null;PreparedStatement pstm =null;ResultSet rt = null;String host = System.getenv("DATA_MYSQL_HOST");String port = System.getenv("DATA_MYSQL_PORT");String database = System.getenv("DATA_MYSQL_DATABASE");//rewriteBatchedStatements=true 開啟批量處理String url = String.format("jdbc:mysql://%s:%s/%s?rewriteBatchedStatements=true", host, port, database);String user = System.getenv("DATA_MYSQL_USER");String password = System.getenv("DATA_MYSQL_PASSWORD");try {Class.forName("com.mysql.jdbc.Driver");conn = DriverManager.getConnection(url, user, password);String sql = "INSERT INTO t_table(name, create_data, value) VALUES(?,?,?)";pstm = conn.prepareStatement(sql);conn.setAutoCommit(false);//計算插入時間Long startTime = System.currentTimeMillis();for (int i = 0; i < tables.size(); i++) {Point point = points.get(i);pstm.setString(1, point.getName());pstm.setTimestamp(2, new Timestamp(point.getCreateDate().getTime()));pstm.setBigDecimal(3, point.getValue());pstm.addBatch();}pstm.executeBatch();conn.commit();Long endTime = System.currentTimeMillis();System.out.println("OK,用時:" + (endTime - startTime));} catch (Exception e) {e.printStackTrace();throw new RuntimeException(e);} finally{if (pstm != null) {try {pstm.close();} catch (SQLException e) {e.printStackTrace();throw new RuntimeException(e);}}if (conn != null) {try {conn.close();} catch (SQLException e) {e.printStackTrace();throw new RuntimeException(e);}}}

參考:JDBC實現往MySQL插入百萬級數據 - 酒香逢 - 博客園

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/86828.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/86828.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/86828.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

在 JavaScript中編寫 Appium 測試(入門)

1.編寫一個測試 (JS) 要在 JavaScript&#xff08;Node.js&#xff09;中編寫 Appium 測試&#xff0c;我們需要選擇一個與 Appium 兼容的客戶端 庫。維護最好的庫和 Appium 團隊推薦使用的庫是 WebdriverIO, 所有就讓我們使用它吧。既然我們已經安裝了 Appium&#xff0c;我們…

【android bluetooth 框架分析 04】【bt-framework 層詳解 6】【Properties介紹】

DeviceProperties、AdapterProperties、StorageModule、以及 bt_config.conf 是 AOSP Bluetooth 棧中 設備屬性管理與持久化系統 的核心組成部分&#xff0c;它們之間關系緊密&#xff0c;但職責各有不同。 下面我將依次講解它們的區別與聯系. 注意: 在代碼里面 還有 Blueto…

@Resource vs @Autowired 在Spring中的使用和區別

Resource vs Autowired 在Spring中的使用和區別 在Spring開發中&#xff0c;我們常會接觸兩個用于實現引用模塊注入的注解&#xff1a;Resource 和 Autowired。它們在使用上有些相似之處&#xff0c;但本質上來看&#xff0c;有所區別。本文將給出兩者的詳細介紹和對比&#x…

Mac M4 芯片運行大模型指南,包括模型微調與推理

Mac M4 芯片運行大模型指南&#xff0c;模型微調與推理 背景模型推理 Ollama&#x1f50d; 舉例說明&#xff1a;踩坑 模型微調 unsloth 背景 在國補、教育優惠、京東會員500優惠券等眾多優惠之下。 我拿下了Macmini M4 16G 內存萬兆網卡。在機器到手的第一時間&#xff0c;馬…

微信小程序中安裝vant

以下是微信小程序中安裝 Vant 的詳細步驟&#xff1a; 1. 初始化項目 在微信小程序項目目錄下&#xff0c;打開終端&#xff0c;執行以下命令進行項目初始化&#xff1a; npm init -y該命令會快速生成一個默認的package.json文件&#xff0c;-y參數表示直接使用默認配置&…

今天做的力扣SQL

我本地markdown的東西直接復制出來了。 多說一嘴&#xff0c;今天早上六點醒了&#xff0c;然后被外面吵&#xff0c;心里也擔心找實習就一直睡不著了。索性直接來實驗室&#xff0c;這一上午感覺好快啊。幸運的是&#xff0c;自己也沒有浪費時間&#xff0c;還行吧。SQL欠的賬…

【開發常用命令】:docker常用命令

docker常用命令 基礎命令 # 啟動docker systemctl start docker # 關閉docker systemctl stop docker # 重啟docker systemctl restart docker # 設置開機自啟動 systemctl enable docker # 查看docker運行狀態 systemctl status docker # 查看docker版本號信息 docker versi…

安裝配置以太鏈錢包工具

安裝go語言環境 1、官網下載go安裝包并上傳到指定機器 https://golang.google.cn/dl/ 2、解壓縮至指定位置&#xff1a; tar -C /usr/local -xzf go1.21.0.linux-amd64.tar.gz 3、將 /usr/local/go/bin 目錄添加至 PATH 環境變量&#xff1a; export PATH$PATH:/usr/local/g…

論文閱讀:speculative decoding

Fast Inference from Transformers via Speculative Decoding 論文地址&#xff1a;https://arxiv.org/pdf/2211.17192 speculative sampling 為了從分布 p ( x ) p(x) p(x) 中采樣&#xff0c;我們實際上是從分布 q ( x ) q(x) q(x) 中采樣 x x x&#xff0c;如果 q ( …

java操作word里的表格

依賴&#xff1a; <dependency><groupId>com.techCoLtd</groupId><artifactId>aspose-words-16.4.0-jdk16</artifactId><classifier>jdk16</classifier> </dependency>/*** 刪除表格及表格的行* throws Exception*/ private s…

單鏈表經典算法題之分割鏈表

給定一個頭結點和一個值x&#xff0c;是鏈表中所有小于x的值都在x前面 typedef struct ListNode ListNode; struct ListNode* partition(struct ListNode* head, int x) { //思路一&#xff1a;在原鏈表上進行修改 //思路二&#xff1a;創建新鏈表&#xff0c;使用哨兵位&…

Modbus TCP轉DeviceNet網關連接ABB變頻器配置案例

某工廠需要將支持Modbus TCP協議的上位機控制系統&#xff08;如PLC或SCADA&#xff09;與支持DeviceNet協議的變頻器&#xff08;如ABB ACS880、施耐德ATV320等&#xff09;進行通信。為實現協議轉換&#xff0c;采用開疆智能Modbus TCP轉DeviceNet網關KJ-DVCZ-MTCPS作為中間設…

【力扣 簡單 C++】206. 反轉鏈表

目錄 題目 解法一&#xff1a;迭代 解法二&#xff1a;遞歸 題目 待添加 解法一&#xff1a;迭代 class Solution { private:ListNode* reverse(ListNode* head){ListNode* newHead {};while (head){ListNode* nextNode {head->next};head->next newHead;newHead …

計算機視覺之三維重建(深入淺出SfM與SLAM核心算法)—— 1. 攝像機幾何

文章目錄 1. 針孔相機1.1. 針孔成像1.2. 光圈對成像的影響 2. 透視投影相機2.1. 透鏡成像2.2. 失焦2.3. 徑向畸變2.4. 透視投影的性質 3. 世界坐標系到像素坐標系的變換4. 其它相機模型4.1. 弱透視投影攝像機4.2. 正交投影攝像機4.3. 各種攝像機模型的應用場合 課程視頻鏈接&am…

第十三節:第七部分:Stream流的中間方法、Stream流的終結方法

Stream流常見的中間方法 Stream流常見的終結方法 代碼 學生類&#xff08;代碼一與代碼二共涉及到的類&#xff09; package com.itheima.day28_Stream;import java.util.Objects;public class Student implements Comparable<Student> {private String name;private i…

深入理解 Go 中的字節序(Endianness)檢測代碼

深入理解 Go 中的字節序&#xff08;大小端&#xff09;檢測代碼 在計算機系統中&#xff0c;字節序&#xff08;Endianness&#xff09; 是指多字節數據類型&#xff08;如 int16、int32 等&#xff09;在內存中的存儲順序。Go 語言標準庫提供了對大端&#xff08;Big-endian&…

JAVA:RabbitMQ 消息持久化機制的技術指南

?? 1、簡述 在使用 RabbitMQ 構建可靠消息系統時,消息丟失是必須避免的問題。為此,RabbitMQ 提供了消息持久化機制(Message Durability),可以保障在 Broker 異常宕機后數據不會丟失。 本篇博客將從原理出發,結合 Spring Boot 實戰講解如何正確實現 RabbitMQ 消息持久…

tabs頁簽嵌套表格,切換表格保存數據不變并回勾

需求&#xff1a;點擊左邊的tab頁簽&#xff0c;請求右側表格數據&#xff1b;如果返回的接口數據存在taskuser字段并不為null&#xff0c;那么按照這個字段去回勾數據。如果存在數據&#xff0c;但與后面所勾選的數據項不同&#xff0c;按照后面勾選的為主。 <el-tabs tab-…

Java Kafka消費者

基礎 Java Kafka消費者主要通過以下核心類實現&#xff1a; KafkaConsumer&#xff1a;消費者的核心類&#xff0c;用于創建消費者對象進行數據消費1ConsumerConfig&#xff1a;獲取各種配置參數&#xff0c;如果不配置就使用默認值1ConsumerRecord&#xff1a;每條數據都要封…

Git操作問題及解決方案-記錄5

Git操作問題及解決方案 問題一&#xff1a;本地更改與遠程更新沖突 問題描述 當本地文件有未提交的更改&#xff0c;同時遠程倉庫也有更新時&#xff0c;執行git pull會導致沖突。 $ git pull origin main error: Your local changes to the following files would be overw…