Redis實踐記錄與總結

????????最近生產環境緩存數據庫數據過大(如何搭建單服務redis緩存數據庫?以及可視化工具Another Redis Desktop Manager使用),導致在對數據庫做rdb快照備份時消耗內存過大,緩存數據庫宕機一小時。基礎運維通過增加虛擬機內存暫時解決問題,但隨著垃圾數據的持續增長,終有一刻內存資源會耗盡,宕機問題重現。現在產品經理要求對緩存數據庫進行降容。我針對這個問題提出了四個解決方案,最后一個方案解決問題。

????????首先使用redis rdb tools 工具(redis rdb tools工具如何搭建?)對當前快照文件redis.rdb 進行分析,將緩存數據庫中無用數據清除掉。在使用工具命令進行處理時報錯:

? ? ? ? ? Invalid RDB version number 10 ????//提示目標rdb文件版本過高,無法進行分析

? ? ?上述報錯的原因是:當前緩存使用的7版本,而7版本目前redis rdb tools對高版本的rdb文件分析的功能還沒有上線,也就是說當前功能不兼容。

????????緊接著上第二個方案,使用redis數據備份工具redis-dump將緩存數據備份成json文件,再將該json文件中的數據遷移到低版本redis數據庫中,對低版本進行rdb文件備份,使用redis rdb tools工具進行分析。(redis-dump 工具安裝與使用)生產環境64G的數據,在對測試環境6G(遠小于64G)數據的緩存進行備份時訪問出現connect time out 連接超時問題。最終調查結果是緩存數據過大,該工具不適用大數據量緩存。如果換成小數據量的緩存數據庫該方案是可行的。

????????接著使用第三個方案:新建主從復制服務器(如何搭建主從復制服務器?),將緩存數據同步到低版本redis(3.0)緩存數據庫中。同樣報錯:

? ? ? ? ? Invalid RDB version number 10 ????//提示目標rdb文件版本過高,無法進行分析

????????最后一個方案采用rdb與aof混合備份數據庫的方式,來避免宕機問題。(如何搭建redis緩存混合持久化方案?)單獨采用rdb快照容易丟失本地到下一次快照之間寫入的數據。單獨使用aof日志在系統啟動時加載數據效率低。混合使用rdb與aof可以兼并兩者的優點,互相補充短板。

Redis緩存數據庫設計建議:緩存中的數據不要設置永久性數據,可以定時往數據庫中同步數據。這樣的好處有:1. 所有的數據都會過期并釋放內存,不會產生未知垃圾。2. 定時同步可以保證數據新鮮,準確。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/19325.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/19325.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/19325.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

spark相關知識

1.Spark的特點 Spark的設計遵循“一個軟件棧滿足不同應用場景”的理念,逐漸形成了一套完整的生態系統,既能夠提供內存計算框架,也可以支持SQL即席查詢、實時流式計算、機器學習和圖計算等。 運行速度快,易使用,強大的技…

kube-prometheus-stack 識別 k8s 集群內所有的 ServiceMonitor 和 PrometheusRule

默認情況下,kube-prometheus-stack 只自己創建的 ServiceMonitor,如果 k8s 集群內有多個非 kube-prometheus-stack 創建的 ServiceMonitor,不會被識別到。PrometheusRule 同理。 要識別所有的 ServiceMonitor 和 PrometheusRule ,…

推薦一個 Java 開源企業級新能源汽車智能共享充電樁管理平臺

文末可獲取 Orise 平臺源碼 01 Orise 智能充電樁管理平臺 奧升( Orise ) 新能源汽車充電樁管理 Saas 云平臺是一個集充電設備管理、用戶充電管理、線上小程序內容管理于一體的綜合管理平臺。Orise充電樁平臺支持高并發業務、業務動態伸縮、樁通信負載均衡,通過Docke…

關于 kubernetes 的9個核心問題解答

本文通過提問題的方式對在 Kubernetes 集群建設中,不同的網絡組件、存儲方案、CI/CD工具、監控系統、網關服務以及服務網格(如 Istio)等選擇給出一定的參考解答;但在實際工作中需要緊密結合業務規模、系統性能需求、安全性要求以及…

Golang項目代碼組織架構實踐

Golang在項目結構上沒有強制性規范,雖然這給了開發者很大的自由度,但也需要自己沉淀一套可行的架構。本文介紹了一種項目布局,可以以此為參考設計適合自己的 Golang 項目組織模式。原文: Golang Project Layout Go 有很多強制的或是約定俗成的…

收藏:六款好用的企業防泄密軟件推薦

企業數據如同企業的生命線,保護數據安全免遭泄露變得至關重要。 面對日益復雜的網絡安全威脅,一套高效的企業防泄密軟件成為企業安全架構的基石。 以下是精心挑選的六款企業防泄密軟件,它們在數據加密、訪問控制、行為監控等方面表現出色&am…

lua vm 常識一: attempt to yield across a C-call boundary 的原因分析

使用 lua 的時候有時候會遇到這樣的報錯:“attempt to yield across a C-call boundary”。 1. 網絡上的解釋 可以在網上找到一些關于這個問題的解釋。 1.1 解釋一 這個 issue:一個關于 yield across a C-call boundary 的問題,云風的解釋是…

輪廓系數(Average silhouette) | 最佳聚類數的判定

1.最佳分類個數 # 輔助確定最佳聚類數 4.7*2.6 factoextra::fviz_nbclust( t(DPAU_2), kmeans, method "silhouette")在2有下降拐點,但是樣本較多時分成2類一般意義不大。 在7時也有下降拐點。 2.查看每個分類的輪廓系數 (1) pam k5 library(cluste…

【Paddle】Inplace相關問題:反向傳播、影響內存使用和性能

【Paddle】Inplace相關問題:反向傳播、影響內存使用和性能 寫在最前面inplace 的好處有哪些?能降低計算復雜度嗎在反向傳播時,Inplace為什么會阻礙呢?“計算圖的完整性受損”表達有誤原地操作 sin_()為什么原地操作會阻礙反向傳播…

活動會議邀請函制作易企秀源碼系統 清爽的畫面輕輕滑動自動翻頁 帶完整的前后端搭建教程

系統概述 在當今數字化時代,活動會議的組織和宣傳變得至關重要。為了滿足這一需求,活動會議邀請函制作易企秀源碼系統應運而生。它不僅為用戶提供了一個便捷、高效的工具,還具備一系列令人矚目的特色功能,為活動會議的成功舉辦提…

Ubuntu22.04設置程序崩潰產生Core文件

Ubuntu22.04設置程序崩潰產生Core文件 文章目錄 Ubuntu22.04設置程序崩潰產生Core文件摘要Ubuntu 生成Core文件配置1. 檢查 core 文件大小限制2. 設置 core 文件大小限制3. 配置 core 文件命名和存儲路徑4. 重啟系統或重新加載配置5. 測試配置 關鍵字: Ubuntu、 C…

Dubbo底層RPC原理深度解析

Dubbo作為一款高性能的分布式服務框架,其核心在于其底層的RPC實現,它允許服務在分布式系統中的不同節點間透明地進行遠程調用。以下是Dubbo底層RPC原理的詳細介紹: 基本概念 RPC(Remote Procedure Call)是一種編程模型…

CSS浮動詳細教學(CSS從入門到精通學習第四天)

css第04天 一、其他樣式 1、圓角邊框 在 CSS3 中,新增了圓角邊框樣式,這樣我們的盒子就可以變圓角了。 border-radius 屬性用于設置元素的外邊框圓角。 語法: border-radius:length; 參數值可以為數值或百分比的形式如果是正方形&…

js 如何封裝一個iframe通訊的sdk

在JavaScript中,封裝一個用于iframe間通信的SDK,可以利用postMessage和message事件監聽來實現跨域通信。以下是一個簡單的示例,展示如何封裝這樣一個SDK: 步驟 1: 創建SDK文件 首先,創建一個名為IframeCommunicator.…

RTT UART設備框架學習

UART簡介 UART(Universal Asynchronous Receiver/Transmitter)通用異步收發傳輸器,UART 作為異步串口通信協議的一種,工作原理是將傳輸數據的每個字符一位接一位地傳輸。是在應用程序開發過程中使用頻率最高的數據總線。 UART串…

MySQL注入 — Dns 注入

DNS注入原理 通過子查詢,將內容拼接到域名內,讓load_file()去訪問共享文件,訪問的域名被記錄此時變為顯錯注入,將盲注變顯錯注入,讀取遠程共享文件,通過拼接出函數做查詢,拼接到域名中,訪問時將訪問服務器,…

CISP難度將加大?還考不考啊...

最新消息:CISP即將調整知識體系大綱,更新題庫,后續考試難度加大。 最近幾年,CISP改版地比較頻繁,難度也在不斷上升,因此各位小伙伴有考CISP想法的盡早考。 隨著《網絡安全法》、《網絡空間安全戰略》、《…

2024/5/28 P1247 取火柴游戲

取火柴游戲 題目描述 輸入 k k k 及 k k k 個整數 n 1 , n 2 , ? , n k n_1,n_2,\cdots,n_k n1?,n2?,?,nk?,表示有 k k k 堆火柴棒,第 i i i 堆火柴棒的根數為 n i n_i ni?;接著便是你和計算機取火柴棒的對弈游戲。取的規則如下&…

定點化和模型量化(三)

量化解決的是訓練使用的浮點和運行使用的硬件只支持定點的矛盾。這里介紹一些實際量化中使用到的工具。 SNPE簡介 The Snapdragon Neural Processing Engine (SNPE)是高通驍龍為了加速網絡模型設計的框架。但它不只支持高通,SNPE還支持多種硬件平臺,AR…

Beego 使用教程 8:Session 和 Cookie

beego 是一個用于Go編程語言的開源、高性能的 web 框架 beego 被用于在Go語言中企業應用程序的快速開發,包括RESTful API、web應用程序和后端服務。它的靈感來源于Tornado, Sinatra 和 Flask beego 官網:http://beego.gocn.vip/ 上面的 be…