優化:遍歷List循環查找數據庫導致接口過慢問題

前提:

? ?我們在寫查詢的時候,有時候會遇到多表聯查,一遇到多表聯查大家就會直接寫sql語句,不會使用較為方便的LambdaQueryWrapper去查詢了。作為一個2024新進入碼農世界的小白,我喜歡使用LambdaQueryWrapper,雖然他會有很多缺點,但是能跑就行嘛。

背景:

? 我在公司寫了一套查詢,遍歷一個list,在遍歷的時候每次都會查詢一次數據庫,該list極有可能是十萬級的,我的好師兄這時候給我說為什么我的接口調的那么慢,我說我也不知道啊,然后他給我看了一下我的代碼,咬牙切齒到,你一個查詢要跟數據庫交互10萬次啊,查一次就算是10ms,你這也得超過10m了。隨后我就一邊被他吐槽一邊聽他說解決方案。

解決方案:

? 不要循環查找數據庫,和數據庫交互是很慢的,我們選擇的應該是先直接把這一大把數據全部查出來,然后交給內存處理這些數據就好了,內存處理數據是非常快的

舉個栗子:

? 現在我們有一個類目(類目名稱:金屬),該類目有一些屬性(金屬顏色,金屬材料),屬性會有屬性值(顏色:黃綠藍;材料:金銀鐵)。類目,屬性,都是單獨一張表來記錄,屬性值單表中記錄屬性的id類目和屬性之間存在一張關聯表。我們根據此關聯關系需要做一個屬性的分頁,分頁需要展示的數據為屬性的基本數據+屬性的類目+屬性值

思路:

? OK!!!!!我們來理一下思路。基本數據就不在多說了,主要關注一下我們的分類info和屬性值info。首先是屬性值:我們查到屬性分頁(只含有基本數據)數據后,需要根據屬性ids到屬性值表中查詢到屬性值然后塞進返回值中返回。一下我想到的就是遍歷ids,然后每一次遍歷的時候拿著屬性id在屬性值表中查到這個屬性值List然后添加到結果集合中,最后返回出去。很好想對吧,但是這就觸及到了我們的這篇文章的問題了,假如有10萬的屬性,那我們就會10萬次交互數據庫,最后造成接口查詢十分緩慢。

? ? ? ? ? ? 這個方法我就是用了這個循環遍歷查詢數據庫的方式,導致接口反應速度極慢

public List<ItemAttributePoInfo> processCategoryAndValues(List<ItemAttributePo> itemAttributePos) {List<ItemAttributePoInfo> results = AbstractModelConverter.convertListByBeanCopier(itemAttributePos, ItemAttributePoInfo.class);//最終需要被返回的結果集List<Long> attributeIds = results.stream().map(e -> e.getId()).collect(Collectors.toList());for (ItemAttributePoInfo result : results) {Long attributeId = result.getId();//屬性idLambdaQueryWrapper<ItemAttributeValue> attributeValueWrapper = new LambdaQueryWrapper<>();attributeValueWrapper.eq(ItemAttributeValue::getAttributeId, attributeId);List<ItemAttributeValue> itemAttributeValueList = itemAttributeValueReadService.list(attributeValueWrapper);List<ItemAttributeValueInfo> itemAttributeValueInfos = AbstractModelConverter.convertList(itemAttributeValueList, ItemAttributeValueInfo.class);result.setItemAttributeValueInfos(itemAttributeValueInfos);}return results;}
}

正確做法:

? 那么正確的做法是什么呢,就是我上文所說的我們應該根據屬性ids一次性把所有的數據都查出來,然后我們根據屬性id分組。分組成為一個Map<Long, List<屬性值>>。這樣我們最后直接循環結果集,將對應屬性id作為map的key,從map中查到對應屬性值的list塞入即可。下面的代碼為正確做法。

public List<ItemAttributePoInfo> processCategoryAndValues(List<ItemAttributePo> itemAttributePos) {List<ItemAttributePoInfo> results = AbstractModelConverter.convertListByBeanCopier(itemAttributePos, ItemAttributePoInfo.class);List<Long> attributeIds = results.stream().map(e -> e.getId()).collect(Collectors.toList());//封裝屬性值信息LambdaQueryWrapper<ItemAttributeValue> attributeValueWrapper = new LambdaQueryWrapper<>();attributeValueWrapper.in(ItemAttributeValue::getAttributeId, attributeIds);List<ItemAttributeValue> itemAttributeValueList = itemAttributeValueReadService.list(attributeValueWrapper);Map<Long, List<ItemAttributeValue>> attributeValueMaps = itemAttributeValueList.stream().collect(Collectors.groupingBy(ItemAttributeValue::getAttributeId));if (CollectionUtils.isNotEmpty(itemAttributeValueList)) {for (ItemAttributePoInfo result : results) {List<ItemAttributeValue> attributeValueResult = attributeValueMaps.get(result.getId());if (CollectionUtils.isEmpty(attributeValueResult)) {result.setItemAttributeValueInfos(new ArrayList<>());} else {result.setItemAttributeValueInfos(AbstractModelConverter.convertList(attributeValueResult, ItemAttributeValueInfo.class));}}}return results;}

注:

? 該方法可能對剛剛使用這個方法的同學不太友好,理解起來相對比較費力,大家要多看兩遍,代碼也很重要,理解其中的意思,該例子中的類目由于設計到關聯表,使用起來可能理解難度會更大一些,先把屬性值理解了再來看類目更容易一些。

附:

類目info:

    public List<ItemAttributePoInfo> processCategoryAndValues(List<ItemAttributePo> itemAttributePos) {List<ItemAttributePoInfo> results = AbstractModelConverter.convertListByBeanCopier(itemAttributePos, ItemAttributePoInfo.class);//最終需要被返回的結果集List<Long> attributeIds = results.stream().map(e -> e.getId()).collect(Collectors.toList());//封裝類目信息LambdaQueryWrapper<ItemCategoryAttributeRel> categoryAttributeRelWrapper = new LambdaQueryWrapper<>();categoryAttributeRelWrapper.in(ItemCategoryAttributeRel::getAttributeId, attributeIds);List<ItemCategoryAttributeRel> itemCategoryAttributeRelList = itemCategoryAttributeRelReadService.list(categoryAttributeRelWrapper);if (CollectionUtils.isNotEmpty(itemCategoryAttributeRelList)) {List<Long> categoryIds = itemCategoryAttributeRelList.stream().map(e -> e.getCategoryId()).collect(Collectors.toList());Map<Long, List<ItemCategoryAttributeRel>> categoryAttributeMaps = itemCategoryAttributeRelList.stream().collect(Collectors.groupingBy(ItemCategoryAttributeRel::getAttributeId));List<ItemCategoryPo> categorise = itemCategoryPoReadService.findByIds(categoryIds);if (CollectionUtils.isNotEmpty(categorise)) {Map<Long, ItemCategoryPo> categoryMap = categorise.stream().collect(Collectors.toMap(e -> e.getId(), e -> e));for (ItemAttributePoInfo result : results) {List<ItemCategoryAttributeRel> itemCategoryAttributeRels = categoryAttributeMaps.get(result.getId());if (CollectionUtils.isNotEmpty(itemCategoryAttributeRels)) {List<ItemCategoryPo> categoryResult = itemCategoryAttributeRels.stream().map(ItemCategoryAttributeRel::getCategoryId).map(categoryMap::get).collect(Collectors.toList());if (CollectionUtils.isEmpty(categoryResult)) {result.setItemCategoryPoInfo(new ItemCategoryPoInfo());} else {result.setItemCategoryPoInfo(AbstractModelConverter.convertModelByBeanCopier(categoryResult.get(0), ItemCategoryPoInfo.class));}}}}}
}

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/41069.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/41069.shtml
英文地址,請注明出處:http://en.pswp.cn/web/41069.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

產品經理系列1—如何實現一個電商系統

具體筆記如下&#xff0c;主要按獲客—找貨—下單—售后四個部分進行模塊拆解

代碼隨想錄算法訓練Day58|LeetCode417-太平洋大西洋水流問題、LeetCode827-最大人工島

太平洋大西洋水流問題 力扣417-太平洋大西洋水流問題 有一個 m n 的矩形島嶼&#xff0c;與 太平洋 和 大西洋 相鄰。 “太平洋” 處于大陸的左邊界和上邊界&#xff0c;而 “大西洋” 處于大陸的右邊界和下邊界。 這個島被分割成一個由若干方形單元格組成的網格。給定一個…

用 Emacs 寫代碼有哪些值得推薦的插件

以下是一些用于 Emacs 寫代碼的值得推薦的插件&#xff1a; Ido-mode&#xff1a;交互式操作模式&#xff0c;它用列出當前目錄所有文件的列表來取代常規的打開文件提示符&#xff0c;能讓操作更可視化&#xff0c;快速遍歷文件。Smex&#xff1a;可替代普通的 M-x 提示符&…

【Unity】unity學習掃盲知識點

1、建議檢查下SystemInfo的引用。這個是什么 Unity的SystemInfo類提供了一種獲取關于當前硬件和操作系統的信息的方法。這包括設備類型&#xff0c;操作系統&#xff0c;處理器&#xff0c;內存&#xff0c;顯卡&#xff0c;支持的Unity特性等。使用SystemInfo類非常簡單。它的…

【python】生成完全數

定義 如果一個數恰好等于它的真因子之和&#xff0c;則稱該數為“完全數” [2]。各個小于它的約數&#xff08;真約數&#xff0c;列出某數的約數&#xff0c;去掉該數本身&#xff0c;剩下的就是它的真約數&#xff09;的和等于它本身的自然數叫做完全數&#xff08;Perfect …

Linux 查看磁盤是不是 ssd 的方法

lsblk 命令檢查 $ lsblk -d -o name,rota如果 ROTA 值為 1&#xff0c;則磁盤類型為 HDD&#xff0c;如果 ROTA 值為 0&#xff0c;則磁盤類型為 SSD。可以在上面的屏幕截圖中看到 sda 的 ROTA 值是 1&#xff0c;表示它是 HDD。 2. 檢查磁盤是否旋轉 $ cat /sys/block/sda/q…

php使用PHPExcel 導出數據表到Excel文件

直接上干貨&#xff1a;<?php$cards_list Cards::find($parameters);$objPHPExcel new \PHPExcel(); $objPHPExcel->getProperties()->setCreator("jiequan")->setLastModifiedBy("jiequan")->setTitle("card List")->setS…

Vuetify3: 根據滾動距離顯示/隱藏搜索組件

我們在使用vuetify3開發的時候&#xff0c;產品需要實現當搜索框因滾動條拉拽的時候&#xff0c;消失&#xff0c;搜索組件再次出現在頂部位置。這個我們需要獲取滾動高度&#xff0c;直接參考vuetify3 滾動指令???????&#xff0c;執行的時候發現一個問題需要設置 max-…

在什么情況下你會使用設計模式

設計模式是在軟件開發中解決常見問題的最佳實踐。它們提供了可復用的解決方案&#xff0c;使得代碼更加模塊化、易于理解和維護。以下是在什么情況下你可能會使用設計模式的一些常見情況&#xff1a; 代碼重復&#xff1a;當你發現項目中多處出現相同或相似的代碼結構時&#x…

機器學習之保存與加載

前言 模型的數據需要存儲和加載&#xff0c;這節介紹存儲和加載的方式方法。 存和加載模型權重 保存模型使用save_checkpoint接口&#xff0c;傳入網絡和指定的保存路徑&#xff0c;要加載模型權重&#xff0c;需要先創建相同模型的實例&#xff0c;然后使用load_checkpoint…

Autosar Dcm配置-0x85服務配置及使用-基于ETAS軟件

文章目錄 前言Dcm配置DcmDsdDcmDsp代碼實現總結前言 0x85服務用來控制DTC設置的開啟和關閉。某OEM3.0架構強制支持0x85服務,本文介紹ETAS工具中的配置 Dcm配置 DcmDsd 配置0x85服務 此處配置只在擴展會話下支持(具體需要根據需求決定),兩個子服務Disable為0x02,Enable…

馮諾依曼體系結構與操作系統(Linux)

文章目錄 前言馮諾依曼體系結構&#xff08;硬件&#xff09;操作系統&#xff08;軟件&#xff09;總結 前言 馮諾依曼體系結構&#xff08;硬件&#xff09; 上圖就是馮諾依曼體系結構圖&#xff0c;主要包括輸入設備&#xff0c;輸出設備&#xff0c;存儲器&#xff0c;運算…

Go高級庫存照片源碼v5.3

GoStock – 免費和付費庫存照片腳本這是一個免費和付費共享高質量庫存照片的平臺,用戶可以上傳照片與整個社區和訪客分享,并可以通過 PayPal 接收捐款。此外,用戶還可以點贊、評論、分享和收藏您最喜歡的照片。 下載 特征: 使用Laravel 10構建訂閱系統Stripe 連接漸進式網頁…

從零開始讀RocketMq源碼(一)生產者啟動

目錄 前言 獲取源碼 總概論 生產者實例 源碼 A-01:設置生產者組名稱 A-02:生產者服務啟動 B-01&#xff1a;初始化狀態 B-02&#xff1a;該方法再次對生產者組名稱進行校驗 B-03&#xff1a;判斷是否為默認生產者組名稱 B-04: 該方法是為了實例化MQClientInstance對…

白嫖A100-interLM大模型部署試用活動,親測有效-2.Git

申明 以下部分內容來源于活動教學文檔&#xff1a; Docs git 安裝 是一個開源的分布式版本控制系統&#xff0c;被廣泛用于軟件協同開發。程序員的必備基礎工具。 常用的 Git 操作 git init 初始化一個新的 Git 倉庫&#xff0c;在當前目錄創建一個 .git 隱藏文件夾來跟蹤…

Windows系統下載安裝ngnix

一 nginx下載安裝 nginx是HTTP服務器和反向代理服務器&#xff0c;功能非常豐富&#xff0c;在nginx官網首頁&#xff0c;點擊download 在download頁面下&#xff0c;可以選擇Stable version穩定版本&#xff0c;點擊下載 將下載完成的zip解壓即可&#xff0c;然乎在nginx所在…

SpringBoot新手快速入門系列教程五:基于JPA的一個Mysql簡單讀寫例子

現在我們來做一個簡單的讀寫Mysql的項目 1&#xff0c;先新建一個項目&#xff0c;我們叫它“HelloJPA”并且添加依賴 2&#xff0c;引入以下依賴&#xff1a; Spring Boot DevTools (可選&#xff0c;但推薦&#xff0c;用于開發時熱部署)Lombok&#xff08;可選&#xff0c…

三相感應電機的建模仿真(2)基于ABC相坐標系S-Fun的仿真模型

1. 概述 2. 三相感應電動機狀態方程式 3. 基于S-Function的仿真模型建立 4. 瞬態分析實例 5. 總結 6. 參考文獻 1. 概述 前面建立的三相感應電機在ABC相坐標系下的數學模型是一組周期性變系數微分方程&#xff08;其電感矩陣是轉子位置角的函數&#xff0c;轉子位置角隨時…

qt 開發筆記堆棧布局的應用

1.概要 畫面中有一處位置&#xff0c;有個按鈕點擊后&#xff0c;這片位置完全換成另一個畫面&#xff0c;這中情況特別適合用堆棧布局。 //堆棧布局的應用 #include <QStackedLayout> QStackedLayout *layout new QStackedLayout(this); layout->setCurrentIndex(…

Unity Scrollview的Scrollbar控制方法

備忘&#xff1a;碰到用scrollview自帶的scrollbar去控制滑動&#xff0c;結果發現用代碼控制scrollbar.value無效&#xff0c;搜了一下都是說用scrollRect.verticalNormalizedPosition和scrollRect.horizontalNormalizedPosition來控制的。我尋思著有關聯的scrollbar為什么用不…