Redis超高并發分key實現

Redis扛并發的能力是非常強的,所以高并發場景下經常會使用Redis,但是Redis單分片的寫入瓶頸在2w左右,讀瓶頸在10w左右,如果在超高并發下即使是集群部署Redis,單分片的Redis也是有可能扛不住的,如下圖所示:
在這里插入圖片描述
雖然Redis做了集群部署,但是Redis的key只會存在一個分片上,此時超高并發下redis1很有可能會被打垮。那么在超高的并發如何解決某個熱key帶來的單分片被打垮的問題呢?下面聊聊Redis分key來解決這個問題的方案。

1、什么是Redis分key

Redis分key就是將一個熱點key通過拆分成若干key,然后讓這若干個key分散到Redis集群的不同節點,如下圖所示:

在這里插入圖片描述
將熱點key拆分成3個小key,然后通過Redis的算法將這3個key分散到Redis集群的分片上(集群有多少個分片,就拆分成幾個key)。這樣由原先的一個key拆分成3個小key,在超高并發下由這3個key共同的來承擔原先一個熱點key扛的流量。

2、拆分后的key分散到集群的分片上

拆分key的思路可以很好的解決單個熱點key可能打垮Redis集群中某個分片的問題,但是我們如何保證一個小key落到一個分片上呢?首先我們來回顧一下Redis集群中key落分片的原理,如下所示的Redis的集群:
在這里插入圖片描述
從原理上分析key落在哪個節點上是經過了兩次的映射,第一次映射是CRC16計算出來key哈希值除以16384之后得到是對應的槽,第二次映射是槽映射到redis的節點,這樣可以知道key落在哪個分片上。

根據上述的原理,我們可以通過Redis的命令來獲取Redis集群上的集群關系來計算key落在哪個分片上。我們現在為了保證一個key落在一個分片上,可以通過手動的方式來設置key,設置的過程如下:

(1)手寫第一個key_longxia,然后自己手動根據CRC16和槽映射關系之后就知道它落到了哪個節點(假設是redis0上)如下所示
在這里插入圖片描述
2)準備第二個key(如key_longxia01),假設計算之后發現也落到了redis0上,那么我們換一個key(如key_biancheng),經過計算發現其落在redis1上,如下所示:
在這里插入圖片描述
(3)同樣的方式,準備第三個key(如key_long),保證其可以落在redis2上即可,如下所示:
在這里插入圖片描述
分key的時候,我們不要追求 key 是有規律的了,可以隨便加點前綴與后綴,只要保證每個小key都分散到集群的分片上即可。

通過上述的試探我們得到了3個拆分后的小key,并且這些小key可以落到集群的節點上,整理出這些拆分后的key如下所示:
在這里插入圖片描述

3、分key的工作原理

在這里插入圖片描述

手動嘗試出來的三個key我們寫固定到代碼中(或者放在配置中心上)。當業務請求過來之后,我們可以通過業務id與拆分出來的key數量取余數的方式映射出當前請求打到哪個key上(如key_longxia),然后通過這個可以經過redis的兩次映射找到對應的節點,找到節點后就可以操作數據了。

結論:(1)Redis分可以的原理就是將一個熱點key拆分成若干個小key后分散不集群的不同節點上(集群有幾個節點就拆分成幾個小key)(2)為保證key可以分散到集群節點上,采用的是手動嘗試的方式來獲取拆分后的小key。(3)分key的方案常用于超高并發業務場景下,如搶優惠券、實時榜單等。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/897971.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/897971.shtml
英文地址,請注明出處:http://en.pswp.cn/news/897971.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

AI Agent 時代開幕-Manus AI與OpenAI Agent SDK掀起新風暴

【本周AI新聞: AI Agent 時代開幕-Manus AI與OpenAI Agent SDK掀起新風暴】 https://www.bilibili.com/video/BV1bkQyYCEvQ/?share_sourcecopy_web&vd_source32ed33e1165d68429b2e2eb4749f3f26 最近AI圈子里最火的話題非Manus莫屬!這款由中國武漢創業公司“蝴…

多時間尺度的配電網深度強化學習無功優化策略的Python示例代碼框架

以下是一個簡單的多時間尺度的配電網深度強化學習無功優化策略的Python示例代碼框架,用于幫助你理解如何使用深度強化學習(以深度Q網絡 DQN 為例)來處理配電網的無功優化問題。在實際應用中,你可能需要根據具體的配電網模型和需求…

劍指 Offer II 081. 允許重復選擇元素的組合

comments: true edit_url: https://github.com/doocs/leetcode/edit/main/lcof2/%E5%89%91%E6%8C%87%20Offer%20II%20081.%20%E5%85%81%E8%AE%B8%E9%87%8D%E5%A4%8D%E9%80%89%E6%8B%A9%E5%85%83%E7%B4%A0%E7%9A%84%E7%BB%84%E5%90%88/README.md 劍指 Offer II 081. 允許重復選擇…

Webpack 前端性能優化全攻略

文章目錄 1. 性能優化全景圖1.1 優化維度概覽1.2 優化效果指標 2. 構建速度優化2.1 緩存策略2.2 并行處理2.3 減少構建范圍 3. 輸出質量優化3.1 代碼分割3.2 Tree Shaking3.3 壓縮優化 4. 運行時性能優化4.1 懶加載4.2 預加載4.3 資源優化 5. 高級優化策略5.1 持久化緩存5.2 模…

虛擬電商-數據庫分庫分表(二)

本文章介紹:使用Sharding-JDBC實現數據庫分庫分表,數據庫分片策略,實現數據庫按月分表 一、Sharding-JDBC使用 1.1.準備環境 步驟一:分庫分表sql腳本導入 創建了兩個數據庫:chongba_schedule0 和chongba_schedule1…

向量數據庫對比以及Chroma操作

一、向量數據庫與傳統類型數據庫 向量數據庫(Vector Storage Engine)與傳統類型的數據庫如關系型數據庫(MySQL)、文檔型數據庫(MongoDB)、鍵值存儲(Redis)、全文搜索引擎&#xff0…

python列表基礎知識

列表 創建列表 1.列表的定義:可變的,有序的數據結構,可以隨時添加或者刪除其中的元素 2.基本語法:字面量【元素1,元素2,元素3】使用[]創建列表 定義變量:變量名稱【元素1,元素2&…

Node.js 的模塊作用域和 module 對象詳細介紹

目錄 代碼示例 1. 創建模塊文件 module-demo.js 2. 導入模塊并使用 module-demo.js 運行結果 總結 在 Node.js 中,每個文件都是一個獨立的模塊,具有自己的作用域。與瀏覽器 JavaScript 代碼不同,Node.js 采用模塊作用域,這意味…

美暢物聯丨WebRTC 技術詳解:構建實時通信的數字橋梁

在互聯網技術飛速發展的今天,實時通信已成為數字生活的核心需求。WebRTC作為一個開源項目,憑借卓越的技術實力與創新理念,為網頁和移動應用帶來了顛覆性的實時通信能力。它突破了傳統通信方式的限制,實現了音頻、視頻和數據在用戶…

excel中兩個表格的合并

使用函數: VLOOKUP函數 如果涉及在excel中兩個工作表之間進行配對合并,則: VLOOKUP(C1,工作表名字!A:B,2,0) 參考: excel表格中vlookup函數的使用方法步驟https://haokan.baidu.com/v?pdwisenatural&vid132733503560775…

單引號與雙引號在不同編程語言中的使用與支持

在編程語言中,單引號和雙引號是常見的符號,它們通常用來表示字符和字符串。然而,如何使用這兩種符號在不同的編程語言中有所不同,甚至有一些語言并不區分單引號和雙引號的用途。本文將詳細介紹不同編程語言中單引號與雙引號的支持…

怎么鑒別金媒v10.51和v10.5的區別!單單從CRM上區分!

2.怎么鑒別程序是10.5還是10.51 ?* 作為商業用戶,升級完全沒有這個擔心,但是這次升級從全局來看清晰度不是很高,不像10.5的升級后臺UI都變化了!你說有漏洞但是我沒遇到過 所以我也不知道升級了啥只能看版本數字是無法區…

python腳本實現服務器內存和cpu使用監控,并記錄日志,可以設置閾值和采樣頻率

Python 腳本,實現以下功能: 按日期自動生成日志文件(例如 cpu_mem_20231001.csv)當 CPU 或內存超過閾值時觸發記錄獨立記錄報警事件(保存到 alert.log)支持自定義閾值和監控間隔 腳本代碼 import psutil …

【Oracle】19c數據庫控制文件多路徑配置

一、關閉數據庫(2個節點實例都要關閉) srvctl stop database -d ora19c 二、多路徑控制文件 打開其中一個節點到nomount狀態 sqlplus / as sysdba startup nomount; [oracleora19c1:/home/oracle]$ rman target / RMAN> restore controlfile to…

大模型訓練全流程深度解析

前些天發現了一個巨牛的人工智能學習網站,通俗易懂,風趣幽默,忍不住分享一下給大家。點擊跳轉到網站。https://www.captainbed.cn/north 文章目錄 1. 大模型訓練概覽1.1 訓練流程總覽1.2 關鍵技術指標 2. 數據準備2.1 數據收集與清洗2.2 數據…

【Linux】進程(1)進程概念和進程狀態

🌟🌟作者主頁:ephemerals__ 🌟🌟所屬專欄:Linux 目錄 前言 一、什么是進程 二、task_struct的內容 三、Linux下進程基本操作 四、父進程和子進程 1. 用fork函數創建子進程 五、進程狀態 1. 三種重…

lws-minimal-ws-server前端分析

index.html index.html是前端入口 <html><head><meta charsetutf-8 http-equiv"Content-Language" content"en"/><!-- 引入js --><script src"/example.js"></script></head><body><img s…

L1-7 統一命名規范(java)

你所在的公司剛剛招收了幾位程序員&#xff0c;然而這些程序員之前在不同的公司工作&#xff0c;所以他們習慣的變量命名規范可能存在差異&#xff0c;需要讓他們都習慣公司要求的命名規范&#xff0c;然而這樣可能會降低他們的工作效率。 你的上司找到了你&#xff0c;希望你…

Flexus應用服務器L實例、X實例以及ECS(彈性計算服務)之間的區別及其適用場景

為了更好地理解Flexus應用服務器L實例、X實例以及ECS&#xff08;彈性計算服務&#xff09;之間的區別及其適用場景&#xff0c;下面我將通過具體的例子來說明每種類型的使用情況。 1. Flexus L實例 特點: 針對高并發和負載均衡進行了優化。它可能包括更快的網絡接口、更高效…

WebRTC中音視頻服務質量QoS之RTT衡量網絡往返時延的加權平均RTT計算機制?詳解

WebRTC中音視頻服務質量QoS之RTT衡量網絡往返時延加權平均RTT計算機制?的詳解 WebRTC中音視頻服務質量QoS之RTT衡量網絡往返時延加權平均RTT計算機制?的詳解 WebRTC中音視頻服務質量QoS之RTT衡量網絡往返時延加權平均RTT計算機制?的詳解前言一、 RTT 網絡往返時延的原理?1、…