【Redis】大key問題詳解

目錄

  • 1、什么是大key
  • 2、大key的危害
    • 【1】阻塞風險
    • 【2】網絡阻塞
    • 【3】內存不均
    • 【4】持久化問題
  • 3、如何發現大key
    • 【1】使用內置命令
    • 【2】使用memory命令(Redis 4.0+)
    • 【3】使用scan命令
    • 【4】監控工具
  • 4、解決方案
    • 【1】拆分大key
    • 【2】使用合適的數據結構
    • 【3】設置過期時間
    • 【4】漸進式刪除
    • 【5】客戶端緩存
  • 5、最佳實踐
    • 【1】設計階段預防
    • 【2】監控告警
    • 【3】讀寫優化

1、什么是大key

在redis中,大key通常指以下三種情況之一:

1、value過大:單個key的value體積過大(如字符串值超過10KB,集合/列表/哈希/有序集合元素過多)
2、元素過多:集合類型(hash/list/set/zset)中包含大量元素(如超過5000個元素)
3、結構復雜:key對應的數據結構嵌套過深或過于復雜

2、大key的危害

【1】阻塞風險

1、大key的讀寫操作會消耗更多CPU和內存。
2、可能會導致redis阻塞,影響其他請求的響應時間。

【2】網絡阻塞

1、大key傳輸會占用大量帶寬。
2、可能會導致集群節點間同步延遲。

【3】內存不均

1、在集群模式下,大key會導致數據分片不均衡。
2、可能造成某些節點內存壓力過大。

【4】持久化問題

1、AOF重寫和RDB生成時處理大key會變慢。
2、可能導致持久化失敗或服務暫停。

3、如何發現大key

【1】使用內置命令

redis-cli --bigkeys #掃描并統計大key

【2】使用memory命令(Redis 4.0+)

MEMORY USAGE key_name #查看指定key的內存使用

【3】使用scan命令

redis-cli --scan --pattern '*' | while read key; do echo "$key: $(redis-cli memory usage "$key")"; done

【4】監控工具

1、RedisInsight
2、Redis Desktop Manager

4、解決方案

【1】拆分大key

1、將大hash拆分成多個小hash
2、對大list/set進行分片

【2】使用合適的數據結構

1、根據合適的業務場景使用合適的數據結構

【3】設置過期時間

1、EXPIRE key seconds

【4】漸進式刪除

1、對大key刪除,使用UNLINK代替DEL(非阻塞)
2、對集合類型,分批刪除

【5】客戶端緩存

1、對不常變更的大key使用客戶端緩存

5、最佳實踐

【1】設計階段預防

1、預估數據規模,提前設計合理的key結構
2、避免單個key存儲過多數據

【2】監控告警

1、設置大key監控告警
2、定期掃描和清理

【3】讀寫優化

1、對大key使用pipeline減少網絡往返
2、避免對大key進行范圍操作

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/pingmian/83323.shtml
繁體地址,請注明出處:http://hk.pswp.cn/pingmian/83323.shtml
英文地址,請注明出處:http://en.pswp.cn/pingmian/83323.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

redis核心知識點

Redis是一種基于內存的數據庫,對數據的讀寫操作都是在內存中完成,因此讀寫速度非常快,常用于緩存,消息隊列、分布式鎖等場景。 Redis 提供了多種數據類型來支持不同的業務場景,比如 String(字符串)、Hash(哈希)、 Lis…

vscode不滿足先決條件問題的解決——vscode的老版本安裝與禁止更新(附安裝包)

目錄 起因 vscode更新設置的關閉 安裝包 結語 起因 由于主包用的系統是centos的,且版本有點老了,再加上vscode現在不支持老版本的,這對主包來說更是雪上加霜啊 但是主包看了網上很多教程,眼花繚亂,好多配置要改&…

如何成為一名優秀的產品經理(自動駕駛)

一、 夯實核心基礎 深入理解智能駕駛技術棧: 感知: 攝像頭、雷達(毫米波、激光雷達)、超聲波傳感器的工作原理、優缺點、融合策略。了解目標檢測、跟蹤、SLAM等基礎算法概念。 定位: GNSS、IMU、高精地圖、輪速計等定…

【ISAQB大綱解讀】信息隱藏指的是什么

在軟件架構中,信息隱藏(Information Hiding) 是核心設計原則之一,由 David Parnas 在 1972 年提出。它強調通過限制對模塊內部實現細節的訪問,來降低系統復雜度、提高可維護性和可擴展性。在 ISAQB 的學習目標&#xf…

網頁前端開發(基礎進階2--JS)

前面學習了html與css,接下來學習JS(JavaScript與Java無關)。 web標準(網頁標準)分為3個部分: 1.html主要負責網頁的結構(頁面的元素和內容) 2.css主要負責網頁的表現(…

完全移除內聯腳本

說明 日期&#xff1a;2025年5月9日。 內聯腳本給跨站腳本攻擊&#xff08;XSS&#xff09;留了條路。 示例 日期&#xff1a;2025年5月9日。 如下網頁文件a.html&#xff1a; <!-- 內聯腳本塊 --> <script> function handleClick{ alert("Hello")…

[藍橋杯]約瑟夫環

約瑟夫環 題目描述 nn 個人的編號是 1 ~ nn&#xff0c;如果他們依編號按順時針排成一個圓圈&#xff0c;從編號是 1 的人開始順時針報數。 &#xff08;報數是從 1 報起&#xff09;當報到 kk 的時候&#xff0c;這個人就退出游戲圈。下一個人重新從 1 開始報數。 求最后剩…

電子電氣架構 --- 如何應對未來區域式電子電氣(E/E)架構的挑戰?

我是穿拖鞋的漢子,魔都中堅持長期主義的汽車電子工程師。 老規矩,分享一段喜歡的文字,避免自己成為高知識低文化的工程師: 做到欲望極簡,了解自己的真實欲望,不受外在潮流的影響,不盲從,不跟風。把自己的精力全部用在自己。一是去掉多余,凡事找規律,基礎是誠信;二是…

isp中的 ISO代表什么意思

isp中的 ISO代表什么意思 在攝影和圖像信號處理&#xff08;ISP&#xff0c;Image Signal Processor&#xff09;領域&#xff0c;ISO是一個用于衡量相機圖像傳感器對光線敏感度的標準參數。它最初源于膠片攝影時代的 “國際標準化組織&#xff08;International Organization …

第十二節:第五部分:集合框架:Set集合的特點、底層原理、哈希表、去重復原理

Set系列集合特點 哈希值 HashSet集合的底層原理 HashSet集合去重復 代碼 代碼一&#xff1a;整體了解一下Set系列集合的特點 package com.itheima.day20_Collection_set;import java.util.HashSet; import java.util.LinkedHashSet; import java.util.Set; import java.util.…

邁向分布式智能:解析MCP到A2A的通信范式遷移

智能體與外部世界的橋梁之言&#xff1a; 在深入探討智能體之間的協作機制之前&#xff0c;我們有必要先厘清一個更基礎的問題&#xff1a;**單個智能體如何與外部世界建立連接&#xff1f;** 這就引出了我們此前介紹過的 **MCP&#xff08;Model Context Protocol&…

Android Studio 配置之gitignore

1.創建或編輯.gitignore文件 在項目根目錄下檢查是否已有.gitignore文件。如果沒有&#xff0c;創建一個新文件&#xff0c;命名為.gitignore&#xff08;注意文件名前有個點&#xff09;。 添加忽略規則&#xff1a;在.gitignore中添加以下內容&#xff1a; 忽略整個 .idea …

算法:二分查找

1.二分查找 704. 二分查找 - 力扣&#xff08;LeetCode&#xff09; 二分查找算法要確定“二段性”&#xff0c;時間復雜度為O(lonN)。為了防止數據溢出&#xff0c;所以求mid時要用防溢出的方式。 class Solution { public:int search(vector<int>& nums, int tar…

day62—DFS—太平洋大西洋水流問題(LeetCode-417)

題目描述 有一個 m n 的矩形島嶼&#xff0c;與 太平洋 和 大西洋 相鄰。 “太平洋” 處于大陸的左邊界和上邊界&#xff0c;而 “大西洋” 處于大陸的右邊界和下邊界。 這個島被分割成一個由若干方形單元格組成的網格。給定一個 m x n 的整數矩陣 heights &#xff0c; hei…

Langchaine4j 流式輸出 (6)

Langchaine4j 流式輸出 大模型的流式輸出是指大模型在生成文本或其他類型的數據時&#xff0c;不是等到整個生成過程完成后再一次性 返回所有內容&#xff0c;而是生成一部分就立即發送一部分給用戶或下游系統&#xff0c;以逐步、逐塊的方式返回結果。 這樣&#xff0c;用戶…

自動駕駛與智能交通:構建未來出行的智能引擎

隨著人工智能、物聯網、5G和大數據等前沿技術的發展&#xff0c;自動駕駛汽車和智能交通系統正以前所未有的速度改變人類的出行方式。這一變革不僅是技術的融合創新&#xff0c;更是推動城市可持續發展的關鍵支撐。 一、自動駕駛與智能交通的定義 1. 自動駕駛&#xff08;Auto…

數據基座覺醒!大數據+AI如何重構企業智能決策金字塔(下)

1. 數據架構的量子躍遷 1.1 從線性堆疊到立體網絡 傳統六層架構正在經歷基因重組。某智能家居企業將數據流轉路徑重構為三維拓撲網絡后&#xff0c;新品研發周期從18個月壓縮至9個月。這個改造的核心在于打破數據層間的物理隔離&#xff0c;讓原始數據流能直接觸達決策中樞。…

Linux 腳本文件編輯(vim)

1. 用戶級配置文件&#xff08;~/.bashrc&#xff09; vim ~/.bashrc # 編輯 source ~/.bashrc # 讓編輯生效 ~/.bashrc 文件是 Bash Shell 的配置文件&#xff0c;用于定義用戶登錄時的環境變量、別名、函數等設置。當你修改了 ~/.bashrc 文件后&#xff0c;通常需要重新…

【Pytorch學習筆記】模型模塊06——hook函數

hook函數 什么是hook函數 hook函數相當于插件&#xff0c;可以實現一些額外的功能&#xff0c;而又不改變主體代碼。就像是把額外的功能掛在主體代碼上&#xff0c;所有叫hook&#xff08;鉤子&#xff09;。下面介紹Pytorch中的幾種主要hook函數。 torch.Tensor.register_h…

SQL進階之旅 Day 11:復雜JOIN查詢優化

【SQL進階之旅 Day 11】復雜JOIN查詢優化 在數據處理日益復雜的今天&#xff0c;JOIN操作作為SQL中最強大的功能之一&#xff0c;常常成為系統性能瓶頸。今天我們進入"SQL進階之旅"系列的第11天&#xff0c;將深入探討復雜JOIN查詢的優化策略。通過本文學習&#xf…