布隆過濾器實戰

一、背景

本篇文章以解決實際需求的問題的角度進行切入,探討了如果使用布隆過濾器快速丟棄無效請求,降低了系統的負載以及不必要的流量。

我們都知道布隆過濾器是以占用內存小,同時也能夠實現快速的過濾從而滿足我們的需求,本篇文章就不仔細展開說明布隆過濾器的工作原理,具體工作原理可以參考下面這篇博客。

Redis布隆過濾器的原理和應用場景,解決緩存穿透 - 知乎

二、實際要解決的問題

面臨問題:在我們的日常工作中,我們通常是負責某個系統,例如訂單系統、預約系統、保險系統等等,在一整個業務流程中,我們只是負責某一業務系統,我們都會有自己的上下游,以預約系統為例,訂單系統(下游)根據預約單號查詢預約系統是否有預約,從而處理對應邏輯,但并不是所有的訂單都是有預約的,大部分的訂單是沒有的,對于我預約系統來說,訂單系統大部分的查詢都是無效的,但是如果我只是使用數據庫的前提下,大部分的請求還是打到了我的數據庫,如圖所示

這種情況下,如果訂單系統的請求量非常大,那對我們預約的系統壓力以及數據庫的壓力會比較大,那么我們將如何解決我們的系統壓力以及數據庫的壓力呢?

三、解決方案

剛才說到,訂單系統有大量的訂單,但是不是每個訂單都需要預約,大部分單號對預約系統來說都是無效的請求,所以這個業務場景我們就可以考慮用布隆過濾器對無效的請求進行過濾。

具體怎么做呢,我們可以在數據庫和預約系統之間增加布隆過濾器,增加了布隆過濾器那同時也必須增加布隆過濾器的數據初始化。我們可以這樣設計,如下圖所示

  • 在數據流入的時候增加布隆布隆過濾器的寫入

????????關鍵代碼:BloomFilterUtils.addValue

/*** @author chen* @description 下單后處理* @param orderNo 訂單號* @date: 2024/3/3 9:42*/private void afterOrderHandle(String orderNo) {//redisTemplate.opsForValue().setBit("test-key",10,true);//通過這種方式實現,需要自己使用hash算法計算對應位數組下標位置(不推薦)//推薦使用redisson開箱即用的RBloomFilter//加載到布隆過濾器BloomFilterUtils.addValue(BloomFilterEnum.TB_ORDER_BLOOM_FILTER.getBloomFilterName(),orderNo);log.info("#加載完畢#");//其他操作.....}
  • 在下游訂單系統查詢預約系統時增加通過訂單號查詢布隆過濾器進行過濾,能夠快速的對上游請求進行快速過濾

關鍵代碼:BloomFilterUtils.isContains

/*** @author chen* @description 訂單查詢* @param reqVO 請求入參* @date: 2024/3/3 9:59* @return com.redis.bloom.filter.data.vo.resp.OrderSearchRespVO*/public OrderSearchRespVO orderSearch(OrderSearchReqVO reqVO) {String orderNo = reqVO.getOrderNo();if(!BloomFilterUtils.isContains(BloomFilterEnum.TB_ORDER_BLOOM_FILTER.getBloomFilterName(),orderNo)){log.info("布隆過濾器不存在#則代表數據庫一定不存在,則直接返回空,不進行數據庫查詢#orderNo={}",reqVO.getOrderNo());return null;}QueryWrapper<TbOrder> queryWrapper = new QueryWrapper<>();queryWrapper.eq("order_no",reqVO.getOrderNo());//查詢數據庫List<TbOrder> tbOrders = tbOrderMapper.selectList(queryWrapper);if(CollectionUtil.isEmpty(tbOrders)){return null;}TbOrder tbOrder = tbOrders.get(0);//使用MapStruct復制對象返回,不暴漏數據庫對象給前端OrderSearchRespVO respVO = TbOrderCopyMapper.INSTANCE.createOrderSearchRespVO(tbOrder);return respVO;}

四、總結

  • 針對此場景、布隆過濾器有著小而實用的特點,可以利用較小的內存擋住大部分的請求,從而降低系統壓力和數據庫壓力
  • 布隆過濾器不僅針對此場景有使用的地方,同時也可以針對緩存穿透也是有很大用處,大大降低數據庫的壓力
  • 這里僅僅只是記錄了布隆過濾器特定場景,目前也是我在工作中用的最多的場景,優化效果顯著

五、源代碼

redis-bloom-filter: 1、這里介紹了簡單的布隆過濾器的用法以及實戰場景

感興趣的朋友可以拉下代碼進行項目運行,只需要把redis配置更換即可

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/717279.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/717279.shtml
英文地址,請注明出處:http://en.pswp.cn/news/717279.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Matlab偏微分方程擬合 | 源碼分享 | 視頻教程

專欄導讀 作者簡介&#xff1a;工學博士&#xff0c;高級工程師&#xff0c;專注于工業軟件算法研究本文已收錄于專欄&#xff1a;《復雜函數擬合案例分享》本專欄旨在提供 1.以案例的形式講解各類復雜函數擬合的程序實現方法&#xff0c;并提供所有案例完整源碼&#xff1b;2.…

反編譯代碼格式處理

反編譯代碼格式處理 背景解決方案程序跑之后idea格式化 總結 背景 想看看公司里一個工具的代碼實現&#xff0c;手里只有一個jar包&#xff0c;只能通過jd-gui反編譯代碼。但是呢&#xff0c;源碼是有了&#xff0c;但是看的很難受。 解決方案 /*** 替換 {code searchDir}中…

LeetCode 100231.超過閾值的最少操作數 I

給你一個下標從 0 開始的整數數組 nums 和一個整數 k 。 一次操作中&#xff0c;你可以刪除 nums 中的最小元素。 你需要使數組中的所有元素都大于或等于 k &#xff0c;請你返回需要的 最少 操作次數。 示例 1&#xff1a; 輸入&#xff1a;nums [2,11,10,1,3], k 10 輸…

Linux課程四課---Linux開發環境的使用(自動化構建工具-make/Makefile的相關)

作者前言 &#x1f382; ??????&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f367;&#x1f382; ?&#x1f382; 作者介紹&#xff1a; &#x1f382;&#x1f382; &#x1f382; &#x1f389;&#x1f389;&#x1f389…

用Java語言創建的Spring Boot項目中,如何傳遞數組呢??

問題&#xff1a; 用Java語言創建的Spring Boot項目中&#xff0c;如何傳遞數組呢&#xff1f;&#xff1f; 在這個思路中&#xff0c;其實&#xff0c;Java作為一個后端開發的語言&#xff0c;沒必要著重于如何傳入&#xff0c;我們主要做的便是對傳入的數組數據進行處理即可…

解決虛擬機啟動報錯:“End kernel panic - not syncing: attempted to kill the idle task”

原本能正常運行的虛擬機&#xff0c;很長一段時間沒用后&#xff0c;今天再次啟動&#xff0c;然后就出現下面的問題&#xff1a; 然后走了一些彎路&#xff0c;比如說刪除該虛擬機然后新建一個虛擬機&#xff08;問題未解決&#xff09;、直接刪除VitualBox重新安裝&#xff0…

感染了后綴為.faust勒索病毒如何應對?數據能夠恢復嗎?

導言&#xff1a; 在網絡安全領域&#xff0c;.faust勒索病毒是近期備受關注的一種惡意軟件。這種病毒采用高度復雜的加密算法&#xff0c;將受感染計算機上的文件全部加密&#xff0c;并要求受害者支付贖金以獲取解密密鑰。.faust勒索病毒的攻擊方式通常是通過電子郵件附件、…

快遞平臺獨立版小程序源碼|帶cps推廣營銷流量主+前端

源碼介紹&#xff1a; 快遞代發快遞代寄寄件小程序可以對接易達云洋一級總代 快遞小程序&#xff0c;接入云洋/易達物流接口&#xff0c;支持選擇快遞公司&#xff0c;三通一達&#xff0c;極兔&#xff0c;德邦等&#xff0c;功能成熟 如何收益: 1.對接第三方平臺成本大約4元…

Python基本數據類型介紹

Python 解釋 Python是一種高級編程語言&#xff0c;以其簡潔、易讀和易用而聞名。它是一種通用的、解釋型的編程語言&#xff0c;適用于廣泛的應用領域&#xff0c;包括軟件開發、數據分析、人工智能等。python是一種解釋型&#xff0c;面向對象、動態數據類型的高級程序設計…

00X集——vba獲取CAD圖中圖元類名objectname

在CAD中&#xff0c;通過快捷鍵PL&#xff08;即POLYLINE命令&#xff09;繪制的線屬于AcDbPolyline。AcDbPolyline也被稱為LWPOLYLINE&#xff0c;即簡單Polyline&#xff0c;它所包含的對象在本身內部。 此外&#xff0c;CAD中還有另一種二維多段線對象&#xff0c;稱為AcDb2…

ViewModel 原理

在現代Android應用開發中&#xff0c;ViewModel是架構組件庫的一個關鍵部分&#xff0c;它在提高應用的穩定性和性能方面發揮著重要作用。在這篇文章中&#xff0c;我們將深入探討ViewModel的工作原理和最佳實踐。 ViewModel簡介 ViewModel是Android Jetpack架構組件的一部分…

ubuntu安裝Avahi發現服務工具

一、簡介 解決設置固定ip后無法連接外網的問題&#xff0c;目前采用動態獲取ip&#xff0c;可以不用設置設備的固定IP&#xff0c;直接可以通過域名來訪問設備&#xff0c;類似樹莓派的連接調試 二、安裝 本文使用的是ubuntu23.10.1上安裝 1.安裝工具 sudo apt install av…

2.模擬問題——4.日期問題

日期問題難度并不大&#xff0c;但是代碼量非常大&#xff0c;需要較高的熟練度&#xff0c;因此需要著重練習&#xff0c;主要涉及數組和循環兩個方面的知識點&#xff0c;需要熟練的測試代碼。 兩個經典題型 閏年 閏年滿足以下兩個條件的任意一個 能夠被400整除不能夠被1…

MyBatis攔截器實現打印完整SQL語句

我們在執行語句的時候會使用Mybatis自帶的日志打印工具&#xff0c;但是打印的時候參數會用?代替&#xff0c;顯得看起來不是那么直觀&#xff0c;所以通過實現了InnerInterceptor接口&#xff0c;并重寫了beforeQuery和beforeUpdate方法。在這兩個方法中&#xff0c;它會獲取…

【Acwing】差分矩陣

圖1&#xff1a;a和b數組映射表 由于a是b的前綴和數組&#xff0c;因此改變b[ x1][ y1]之后&#xff0c;受到影響的a中元素如右半圖所示 圖2&#xff1a;求b數組的前綴和 #include<bits/stdc.h> using namespace std;int n,m,q; int a[1010][1010]; int b[1010][1010]…

work 3/1

1>機械臂 #include <head.h> #define SER_POTR 8899 #define SER_IP "192.168.125.223" int main(int argc, const char *argv[]) {//創建套接字int cfdsocket(AF_INET,SOCK_STREAM,0);if(cfd-1){perror("");return -1;}//鏈接struct sockaddr_i…

一文搞懂瀏覽器緩存機制

文章目錄 概述強制緩存協商緩存總結參考文章 概述 瀏覽器的緩存機制也就是我們說的HTTP緩存機制&#xff0c;其機制是根據HTTP報文的緩存標識進行的 瀏覽器第一次向服務器發送HTTP請求, 瀏覽器拿到請求結果后&#xff0c;會根據響應報文的緩存標識&#xff0c;決定是否進行緩存…

機器學習:數據處理基操

在處理完數據之后&#xff0c;選擇好模型&#xff0c;就可以用訓練集訓練模型&#xff0c;用測試集輸入模型 然后輸出需要預測的結果啦&#xff5e; 一、模塊導入 import numpy as np import pandas as pd #讀入數據 二、pandas數據 一、dataframe基礎 一、dataframe的創建…

github新手使用詳解及環境搭建案例

對于 GitHub 的新手使用以及環境搭建&#xff0c;以下是詳細的步驟和案例&#xff1a; 一、GitHub 新手使用詳解 注冊 GitHub 賬號&#xff1a;首先&#xff0c;你需要在 GitHub 官網上注冊一個賬號。填寫必要的個人信息&#xff0c;如用戶名、郵箱和密碼等。注冊完成后&…

【代碼】Android|判斷asserts下的文件存在與否,以及普通文件存在與否

作者版本&#xff1a;Android 11及以上 主要是發現網上沒有完整的、能跑的代碼&#xff0c;不知道怎么回事&#xff0c;GPT給我重寫的。我只能保證這個代碼尊嘟能跑&#xff0c;不像其他的缺胳膊少腿的。 asserts 貼一下結果&#xff1a; boolean isAssertFileExists(String …