刪除大表數據注意事項

數據庫是否會因刪除操作卡死,沒有固定的 “安全刪除條數”,而是受數據庫配置、表結構、操作方式、當前負載等多種因素影響。以下是關鍵影響因素及實踐建議:

一、導致數據庫卡死的核心因素

  1. 硬件與數據庫配置
    • CPU / 內存瓶頸:刪除操作需消耗 CPU 解析 SQL、內存緩存數據,若配置較低(如老舊服務器),即使刪除 1000 條也可能因資源耗盡卡死。
    • 磁盤 IO 性能:機械硬盤(HDD)的隨機 IO 速度遠低于固態硬盤(SSD),刪除大量數據時 HDD 可能因 IO 瓶頸導致響應超時。
    • 數據庫參數:如innodb_buffer_pool_size(緩沖池大小)過小,會頻繁觸發磁盤讀寫,加劇卡頓。
  1. 表結構與索引設計
    • 無索引或索引失效:若刪除條件(如WHERE子句)未命中索引,會導致全表掃描。例如:sql
DELETE FROM large_table WHERE non_indexed_column = 'value';  -- 無索引時,刪除1萬條可能全表掃描卡死


?

    • 大表結構:表數據量超過內存緩存能力(如千萬級表),刪除操作易引發頻繁磁盤交換。
  1. 事務與鎖機制
    • 大事務長時間持有鎖:若一次刪除 10 萬條數據且未提交事務,InnoDB 會鎖定行記錄,其他查詢 / 更新可能因鎖等待超時。
    • 表鎖(MyISAM 引擎):MyISAM 執行刪除時會鎖整張表,若一次刪除大量數據,表鎖時間過長易導致業務阻塞。
  1. 當前數據庫負載
    • 若刪除時數據庫正處理高并發查詢、復雜計算或備份任務,即使刪除 1000 條也可能因資源競爭卡死。

二、經驗性 “安全刪除閾值” 參考

場景

建議單次刪除量

說明

小表(<10 萬條,有索引)

5000-10000 條

內存可緩存數據,索引加速查詢,分批提交即可。

中等表(100 萬 - 500 萬條)

1000-5000 條

需搭配索引 + 小事務(如每 1000 條提交一次),避免鎖持有過久。

大表(>1000 萬條,HDD)

500-1000 條

機械硬盤 IO 受限,建議每次刪除不超過 1000 條,配合 1 秒以上休眠。

超大表(>1 億條,無分區)

100-500 條

需極端控制批次,優先考慮分區表或復制替換策略(見歷史回答)。

三、避免卡死的核心策略(結合歷史回答擴展)

  1. 分批刪除 + 動態休眠
    • 按 “建議閾值” 拆分批次,每次刪除后根據數據庫負載調整休眠時間(如SLEEP(0.5))。
    • 示例(MySQL 存儲過程)sql
DECLARE batch_size INT DEFAULT 1000;  -- 中等表批次設為1000
WHILE EXISTS (SELECT 1 FROM table WHERE delete_condition LIMIT 1) DODELETE FROM table WHERE delete_condition LIMIT batch_size;COMMIT;  -- 小事務提交DO SLEEP(0.5);  -- 休眠0.5秒
END WHILE;


?

  1. 優化索引與查詢條件
    • 確保刪除條件命中索引,例如為create_timestatus等常用過濾字段創建索引。
    • 避免使用SELECT *或無過濾條件的刪除(如DELETE FROM table),優先添加WHERE條件。
  1. 監控數據庫狀態
    • 實時查看 CPU、內存、IO 使用率(如 Linux 下topiostat)和數據庫負載(SHOW PROCESSLISTSHOW ENGINE INNODB STATUS)。
    • 若發現InnoDB_rows_lock_waitCPU%user持續高于 80%,立即減小批次大小或暫停操作。
  1. 分庫分表或分區優化
    • 對歷史數據按時間分區(如每月一個分區),刪除時直接丟棄舊分區(幾乎不影響性能)。
    • 示例(MySQL 分區表刪除):sql
ALTER TABLE log_table DROP PARTITION p_202505;  -- 瞬間刪除5月分區數據


?

四、典型卡死場景與預防案例

  1. 場景:某電商訂單表(5000 萬條,無分區,HDD),直接執行DELETE FROM orders WHERE create_time < '2025-01-01'
    • 問題:全表掃描 + 大事務鎖表,導致數據庫 IO 飆升,業務查詢超時。
    • 預防:先創建create_time索引,再按每天分批刪除(如WHERE create_time BETWEEN '2024-12-01' AND '2024-12-02'),每批 5000 條,休眠 2 秒。
  1. 場景:MyISAM 引擎表(100 萬條),執行DELETE FROM table WHERE status=0status無索引)。
    • 問題:全表掃描 + 表鎖,持續 10 分鐘,期間所有查詢阻塞。
    • 預防:先添加INDEX(status),再分批刪除(每批 1 萬條,提交事務)。

五、總結:沒有 “絕對安全數”,只有 “動態適配方案”

  • 核心原則小批次 + 短事務 + 強監控 + 索引優化,根據數據庫實時負載調整刪除策略。
  • 測試建議:先在測試環境執行小批量刪除(如 100 條),觀察 CPU、IO、鎖等待情況,逐步增大批次直到找到臨界值,再按臨界值的 50% 作為生產環境批次大小。

六、重命名舊表,新建一張表,避免刪除

-- 1. 重命名原表
RENAME TABLE Xxx_req_log TO old_ Xxx_req_log;-- 2. 創建新表(僅結構)
CREATE TABLE  Xxx_req_log LIKE old_ Xxx_req_log;-- 3. (可選)導入部分數據
INSERT INTO  Xxx_req_log 
SELECT * FROM old_ Xxx_req_log WHERE create_time >= '2025-05-01';-- 4. (可選)添加缺失的索引
ALTER TABLE  Xxx_req_log ADD INDEX idx_create_time (create_time);

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/88050.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/88050.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/88050.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Redis 是單線程模型?|得物技術

一、背景 使用過Redis的同學肯定都了解過一個說法&#xff0c;說Redis是單線程模型&#xff0c;那么實際情況是怎樣的呢&#xff1f; 其實&#xff0c;我們常說Redis是單線程模型&#xff0c;是指Redis采用單線程的事件驅動模型&#xff0c;只有并且只會在一個主線程中執行Re…

[特殊字符] AIGC工具深度實戰:GPT與通義靈碼如何徹底重構企業開發流程

&#x1f50d; 第一模塊&#xff1a;理念顛覆——為什么AIGC不是“玩具”而是“效能倍增器”&#xff1f; ▍企業開發的核心痛點圖譜&#xff08;2025版&#xff09; ??研發效能瓶頸??&#xff1a;需求膨脹與交付時限矛盾持續尖銳&#xff0c;傳統敏捷方法論已觸天花板?…

(LeetCode 面試經典 150 題) 169. 多數元素(哈希表 || 二分查找)

題目&#xff1a;169. 多數元素 方法一&#xff1a;二分法&#xff0c;最壞的時間復雜度0(nlogn)&#xff0c;但平均0(n)即可。空間復雜度為0(1)。 C版本&#xff1a; int nnums.size();int l0,rn-1;while(l<r){int mid(lr)/2;int ans0;for(auto x:nums){if(xnums[mid]) a…

(17)java+ selenium->自動化測試-元素定位大法之By css上

1.簡介 CSS定位方式和xpath定位方式基本相同,只是CSS定位表達式有其自己的格式。CSS定位方式擁有比xpath定位速度快,且比CSS穩定的特性。下面詳細介紹CSS定位方式的使用方法。相對CSS來說,具有語法簡單,定位速度快等優點。 2.CSS定位優勢 CSS定位是平常使用過程中非常重要…

【軟考高級系統架構論文】企業集成平臺的技術與應用

論文真題 企業集成平臺是一個支持復雜信息環境下信息系統開發、集成和協同運行的軟件支撐環境。它基于各種企業經營業務的信息特征,在異構分布環境(操作系統、網絡、數據庫)下為應用提供一致的信息訪問和交互手段,對其上運行的應用進行管理,為應用提供服務,并支持企業信息…

i.MX8MP LVDS 顯示子系統全解析:設備樹配置與 DRM 架構詳解

&#x1f525; 推薦&#xff1a;《Yocto項目實戰教程&#xff1a;高效定制嵌入式Linux系統》 京東正版促銷&#xff0c;歡迎支持原創&#xff01; 鏈接&#xff1a;https://item.jd.com/15020438.html i.MX8MP LVDS 顯示子系統全解析&#xff1a;設備樹配置與 DRM 架構詳解 在…

keep-alive實現原理及Vue2/Vue3對比分析

一、keep-alive基本概念 keep-alive是Vue的內置組件&#xff0c;用于緩存組件實例&#xff0c;避免重復渲染。它具有以下特點&#xff1a; 抽象組件&#xff1a;自身不會渲染DOM&#xff0c;也不會出現在父組件鏈中包裹動態組件&#xff1a;緩存不活動的組件實例&#xff0c;…

安卓jetpack compose學習筆記-Navigation基礎學習

目錄 一、Navigation 二、BottomNavigation Compose是一個偏向靜態刷新的UI組件&#xff0c;如果不想要自己管理頁面切換的復雜狀態&#xff0c;可以以使用Navigation組件。 頁面間的切換可以NavHost&#xff0c;使用底部頁面切換欄&#xff0c;可以使用腳手架的bottomBarNav…

基于大數據技術的在UGC數據分析與路線推薦的研究

博主介紹&#xff1a;java高級開發&#xff0c;從事互聯網行業六年&#xff0c;熟悉各種主流語言&#xff0c;精通java、python、php、爬蟲、web開發&#xff0c;已經做了六年的畢業設計程序開發&#xff0c;開發過上千套畢業設計程序&#xff0c;沒有什么華麗的語言&#xff0…

flask通過表單自動產生get請求的參數、form表單實現POST請求的自動提交

通過表單自動產生get請求的參數 相關代碼如下&#xff1a; import flaskapp flask.Flask(__name__)app.route(/) def login():html <!DOCTYPE html><html lang"en"><head><meta charset"UTF-8"><title>flask表單實現get…

《情感反詐模擬器》2025學習版

1.2 專業內容支持 67篇情感詐騙案例研究14萬字心理學分析資料783條專業配音對白 二、安裝與運行 2.1 系統要求 最低配置&#xff1a; 顯卡&#xff1a;GTX 1060CPU&#xff1a;i5-8400存儲&#xff1a;25GB空間 2.2 運行步驟 解壓游戲文件&#xff08;21.7GB&#xff09;…

預訓練 vs. 微調:大模型落地的核心兩步,究竟有何不同?

在人工智能領域&#xff0c;尤其是自然語言處理&#xff08;NLP&#xff09;和計算機視覺&#xff08;CV&#xff09;&#xff0c;大型模型如GPT系列、BERT、Stable Diffusion等取得了令人矚目的成就。支撐這些模型廣泛應用的關鍵技術流程&#xff0c;通常包含兩個核心階段&…

微信原生小程序轉uniapp過程及錯誤總結

https://ask.dcloud.net.cn/article/35786 此文章尤為重要&#xff0c;可以使用輔助工具 1、this.setData 源代碼&#xff1a; this.setData({dateTime: obj.dateTime, });需更換為 this.dateTime obj.dateTime2、cookie問題 在此文章有解釋 https://blog.csdn.net/ni155…

關于Spring JBDC

一、什么是Spring JDBC&#xff1f; 什么是JDBC&#xff1f; JDBC&#xff08;Java Database Connectivity&#xff09;是 Java 語言訪問數據庫的標準 API&#xff0c;它定義了一組接口和類&#xff0c;允許 Java 程序與各種數據庫進行交互。JDBC 提供了執行 SQL 語句、處理結果…

【SpringBoot】Spring Boot實現SSE實時推送實戰

以下是一個完整的基于 Spring Boot 的 Server-Sent Events (SSE) 示例&#xff0c;包括服務端和客戶端的實現。 一、服務端實現 1. 創建 Spring Boot 項目 首先&#xff0c;創建一個基本的 Spring Boot 項目&#xff0c;并添加 spring-boot-starter-web 依賴。在 pom.xml 中…

若依導出模板時設置動態excel下拉框(表連接的)

若依導出模板時設置動態excel下拉框&#xff08;表連接的&#xff09; 一、問題二、解決1、實體類2.1、臨時使用2.2、統一工具類3、調用 一、問題 若依導出只能&#xff1b;使用dictType、combo、comboReadDict、readConverterExp這些來控制字典的導出下拉&#xff0c;如果不是…

Rabbitmq集成springboot 使用死信隊列

一、何為死信隊列 RabbitMQ的死信隊列&#xff08;Dead Letter Queue&#xff0c;DLQ&#xff09;是一種特殊的隊列機制&#xff0c;用于處理那些無法被正常消費的消息。這些消息可能由于各種原因無法被消費者正確處理&#xff0c;如果不加以處理&#xff0c;可能會導致隊列堵塞…

Spring Boot 項目中 resources 文件讀取

開發必備&#xff01;Spring Boot 項目中 resources 文件讀取的 9 大方案詳解 在 Spring Boot 項目中&#xff0c;resources 目錄承載著大量的關鍵資源&#xff0c;如配置文件、模板文件、腳本資源、數據文件等。而如何以合適的方式高效、安全地讀取這些資源&#xff0c;往往是…

力扣-1143.最長公共子序列

題目描述 給定兩個字符串 text1 和 text2&#xff0c;返回這兩個字符串的最長 公共子序列 的長度。如果不存在 公共子序列 &#xff0c;返回 0 。 一個字符串的 子序列 是指這樣一個新的字符串&#xff1a;它是由原字符串在不改變字符的相對順序的情況下刪除某些字符&#xf…

《算法筆記》之二(筆記)

1. vector&#xff1a; 1.定義&#xff1a;“變長數組”&#xff08;長度依據需要而自動改變&#xff0c;節省空間&#xff0c;避免普通數組超內存&#xff09; 代碼定義&#xff1a;vector < typename > name; 注&#xff1a;&#xff08;注意理解&#xff09; vecto…