MySQL深分頁問題

在項目中有一個數據導出的需求,原來的實現方式也比較簡單,根據查詢條件分頁查所有的數據,然后轉成csv的格式一行一行寫進文件存儲中。

實際上線之后,發現出現了慢查詢,具體的sql如下:

select * from table_name
WHERE create_time > "2025-04-11 00:00:00" and create_time < "2025-04-12 23:59:59.999"
order by create_time limit offset, size;

第一次出現的時候也沒多想,發現create_time沒加索引,就給create_time加了索引,以為從此萬事大吉。

沒想到,今天又出現了慢查詢。納尼,這還能忍?

于是乎,常規操作,執行了一下explain,竟然意外的發現,當請求的頁碼深度超過一定程度以后,create_time索引就被放棄了,改為全表掃描了。

因此二級索引在使用的時候,一般是需要再次進行回表進行查詢的,所以當分頁深度超過一定程度,優化器會認為成本太高直接改為全表掃描。

關于MySQL可能造成索引失效的一些情況,可以參考下面這篇文章。

https://juejin.cn/post/7300460850011734070?spm=a2c6h.12873639.article-detail.4.45c5438eRjVDEU

在知道了原因之后,頭腦一熱,心想這還不簡單嗎,force index了解一下?

使用force index雖然可以解決索引失效的問題,但是因為頁碼深度的問題造成的回本成本過高的問題也是實際存在的,那么有沒有更好的解決方案呢?

還真有,這里之所以使用傳統limit offset,size方式進行分頁查詢,實際上是掉進了一個思維陷阱里,因為這是使用最多的分頁查詢方式。但是考慮到此處的場景并不需要真正的分頁,只需要能達到分批獲取數據的邏輯就可以了。

所以最終的解決方案是使用id > xxx limit 100這樣的方式來實現。

select * from table_name
WHERE create_time > "2025-04-11 00:00:00" and create_time < "2025-04-12 23:59:59.999" and id > xxx limit 100;

?該寫完的sql,再來執行一下explain,可以看到現在已經改為根據主鍵的range查詢了。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/diannao/77702.shtml
繁體地址,請注明出處:http://hk.pswp.cn/diannao/77702.shtml
英文地址,請注明出處:http://en.pswp.cn/diannao/77702.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

前端面試寶典---創建對象的配置

Object.create 對整個對象的多個屬性值進行配置 創建對象 不可更改屬性值 // 創建對象 不可更改屬性值 let obj Object.create({}, {name: {value: lisi,writable: false,},age: {value: 20,writable: true,} })console.log(初始化obj, obj) obj.name wangwu console.log(…

數據結構:C語言版嚴蔚敏和解析介紹,附pdf

《數據結構&#xff1a;C語言版&#xff08;第2版&#xff09;》嚴蔚敏李冬梅吳偉民.pdf 《數據結構&#xff1a;C語言版》嚴蔚敏&#xff0c;李冬梅.pdf 《數據結構C語言第2版習題解析與實驗指導》李冬梅.pdf 「《數據結構&#xff1a;C語言版&#xff08;第2版 &#xff09;》…

深入理解 v-for 指令及其使用方法

在 Vue.js 中&#xff0c;v-for 是用于渲染列表的核心指令&#xff0c;它允許你通過循環渲染數據源中的每一項。通過 v-for&#xff0c;你可以輕松地將數組、對象或其他可迭代的數據渲染成 HTML 元素。本文將詳細介紹 v-for 的基本用法、常見的應用場景、最佳實踐及性能優化&am…

VIRT, RES,SHR之間的關系

VIRT、RES 和 SHR 是進程內存使用的三個關鍵指標&#xff0c;它們之間的關系反映了進程的內存分配和使用情況。以下是它們的定義和關系&#xff1a; VIRT&#xff08;虛擬內存&#xff09;&#xff1a;表示進程分配的虛擬內存總量&#xff0c;包括所有代碼、數據、共享庫、堆棧…

2025屆藍橋杯JavaB組個人題解(暫時不全,沒題目)

2025 屆藍橋杯 Java B 組題解 第一次參加藍橋杯&#xff0c;輸入輸出都用的BufferedReader和PrintWriter&#xff0c;怕輸入輸出不對或者內存超限&#xff0c;也怕出現小錯誤運行不了的&#xff0c;比如Main打成Mian什么的&#xff0c;但還是希望能拿省一&#xff0c;這里給出自…

在Vue項目的引入meting-js音樂播放器插件

開源項目&#xff1a;https://github.com/swzaaaaaaa/NBlog 1、開源項目中音樂播放插件的使用流程 步驟1&#xff1a;下載meting-js相關文件 在MetingJS官方倉庫或其他可靠的CDN獲取meting-js的JavaScript文件以及相關依賴&#xff08;如APlayer的文件&#xff09;。將它們下…

HTML應用指南:利用GET請求獲取全國漢堡王門店位置信息

在當今快節奏的都市生活中&#xff0c;餐飲品牌的門店布局不僅反映了其市場策略&#xff0c;更折射出消費者對便捷、品質和品牌認同的追求。漢堡王&#xff08;Burger King&#xff09;作為全球知名的西式快餐品牌之一&#xff0c;在中國市場同樣占據重要地位。自進入中國市場以…

使用 Function 來編寫策略模式:優雅而高效的設計模式實踐

引言&#xff1a;為什么選擇策略模式&#xff1f; 策略模式&#xff08;Strategy Pattern&#xff09;是行為設計模式中的經典之一&#xff0c;它允許我們定義一系列的算法或操作&#xff0c;并使得它們可以互換使用。策略模式的關鍵思想是將算法的實現與使用它們的上下文分離…

Windows 系統中安裝 Git 并配置 GitHub 賬戶

由于電腦重裝系統&#xff0c;重新配置了git. 以下是在 Windows 系統中安裝 Git 并配置 GitHub 賬戶的詳細步驟&#xff1a; 1. 安裝 Git 訪問 Git 官網下載頁面下載 Windows 版本的 Git 安裝程序運行安裝程序&#xff0c;使用默認選項即可 2. 配置 Git 用戶信息 打開命令…

MergeX亮相GTC2025:開啟全球廣告流量交易新篇章

全球流量盛宴GTC2025深圳啟幕&#xff0c;共探出海新藍海 2025年4月24日至25日&#xff0c;GTC2025全球流量大會將在深圳福田會展中心9號館隆重召開。作為跨境出海領域內規模最大、資源最豐富、產業鏈最完備的年度盛會&#xff0c;此次大會將匯聚眾多行業精英&#xff0c;共同探…

kubernetes》》k8s》》Volume 數據卷 PVC PV NFS

為啥需要數據卷 容器磁盤上的文件的生命周期是短暫的&#xff0c;這就使得在容器中運行重要應用時會出現一些問題。首先&#xff0c;當容器崩潰時&#xff0c;kubelet會重啟它&#xff0c;但是容器中的文件將丟失——容器以干凈的狀態&#xff08;鏡像最初的狀態&#xff09;重…

第十六屆藍橋杯 省賽C/C++ 大學B組

編程題目現在在洛谷上都可以提交了。 未完待續&#xff0c;寫不動了。 C11 編譯命令 g A.cpp -o A -Wall -lm -stdc11A. 移動距離 本題總分&#xff1a;5 分 問題描述 小明初始在二維平面的原點&#xff0c;他想前往坐標 ( 233 , 666 ) (233, 666) (233,666)。在移動過程…

谷歌怎么設置在新標簽頁中打開網頁

按圖示操作即可&#xff0c;藏得真深啊&#xff0c;無語&#xff0c;而且就算打開了&#xff0c;點收藏夾&#xff0c;頂部快捷欄里的網站&#xff0c;網站里的連接&#xff0c;打開也還是覆蓋原來的&#xff0c;呵呵呵呵呵呵呵&#xff0c;有沒有人管管 另外我的edge不知咋滴…

【企業級數據安全】掌握高性能Log4j2敏感信息脫敏方案

前言 在數據安全合規日益嚴格的今天&#xff0c;日志中的敏感信息保護已成為企業IT建設的必備環節。本文帶您深入了解如何打造一套高性能、可實時配置的Log4j2日志脫敏插件&#xff0c;輕松應對各類敏感數據保護需求&#xff0c;讓您的系統既滿足合規要求&#xff0c;又不犧牲…

Linux中的tar -P選項

tar -P選項 Linux中的tar命令可用于文件和目錄的歸檔以及壓縮解壓縮。而其中的-P選項是什么含義呢&#xff1f;下面我們就來看一看 1、不添加-P選項 對于如下壓縮命令&#xff1a; tar -czvf pkg.tar.gz /opt/software執行該命名&#xff0c;控制臺首行輸出將會提示&#xf…

【2025年泰迪杯數據挖掘挑戰賽】B題 詳細解題思路+數據預處理+代碼分享

目錄 2025年泰迪杯B題詳細解題思路問題一問題分析數學模型Python代碼Matlab代碼 問題二問題分析數學模型Python代碼Matlab代碼 問題三問題分析數學模型Python代碼Matlab代碼 問題四問題分析數學模型Python代碼Matlab代碼 2025年泰迪杯B題詳細解題思路 初步分析整理了B題的賽題分…

SpringBoot3快速入門筆記

springboot3簡介 SpringBoot 幫我們簡單、快速地創建一個獨立的、生產級別的 Spring 應用&#xff08;說明&#xff1a;SpringBoot底層是Spring&#xff09; 大多數 SpringBoot 應用只需要編寫少量配置即可快速整合 Spring 平臺以及第三方技術 特性&#xff1a; ● 快速創建…

記錄centos8安裝寶塔過程(兩個腳本)

1、切換系統源&#xff08;方便使用寶塔安裝腳本下載&#xff09; bash <(curl -sSL https://linuxmirrors.cn/main.sh) 2、寶塔安裝腳本在寶塔的官網 寶塔面板下載&#xff0c;免費全能的服務器運維軟件 根據自己的系統選擇相應的腳本 urlhttps://download.bt.cn/insta…

Xdocreport實現根據模板導出word

只使用freemaker生成簡單的word文檔很容易&#xff0c;但是當word文檔需要插入動態圖片&#xff0c;帶循環數據&#xff0c;且含有富文本時解決起來相對比較復雜&#xff0c;但是使用Xdocreport可以輕易解決。 Xdocreport既可以實現文檔填充也可以實現文檔轉換&#xff0c;此處…

VMware Fusion Pro/Player 在 macOS 上的完整安裝與使用指南

VMware Fusion Pro/Player 在 macOS 上的完整安裝與使用指南—目錄 一、VMware 產品說明二、下載 VMware Fusion三、安裝前準備四、安裝 VMware Fusion步驟 1&#xff1a;安裝程序步驟 2&#xff1a;首次啟動配置步驟 3&#xff1a;輸入許可證 五、創建虛擬機步驟 1&#xff1a…