詳解Redis如何持久化

引言

本文介紹了 Redis 的兩種持久化方式:RDB 和 AOF。RDB 按時間間隔快照存儲,AOF 記錄寫操作。闡述了它們的配置、工作原理、恢復數據的方法、性能與實踐建議,如降低 fork 頻率、控制內存等,還提到二者可配合使用,最后提及后續將介紹主從復制與集群知識。

Redis為持久化提供了兩種方式:

  • RDB:在指定的時間間隔能對你的數據進行快照存儲。
  • AOF:記錄每次對服務器寫的操作,當服務器重啟的時候會重新執行這些命令來恢復原始的數據。

持久化的配置

為了使用持久化的功能,我們需要先知道該如何開啟持久化的功能。

RDB的持久化配置

# 時間策略
save 900 1
save 300 10
save 60 10000# 文件名稱
dbfilename dump.rdb# 文件保存路徑
dir /home/work/app/redis/data/# 如果持久化出錯,主進程是否停止寫入
stop-writes-on-bgsave-error yes# 是否壓縮
rdbcompression yes# 導入時是否檢查
rdbchecksum yes

配置其實非常簡單,這里說一下持久化的時間策略具體是什么意思。

  • save 900 1 表示900s內如果有1條是寫入命令,就觸發產生一次快照,可以理解為就進行一次備份
  • save 300 10 表示300s內有10條寫入,就產生快照

下面的類似,那么為什么需要配置這么多條規則呢?因為Redis每個時段的讀寫請求肯定不是均衡的,為了平衡性能與數據安全,我們可以自由定制什么情況下觸發備份。所以這里就是根據自身Redis寫入情況來進行合理配置。

stop-writes-on-bgsave-error yes 這個配置也是非常重要的一項配置,這是當備份進程出錯時,主進程就停止接受新的寫入操作,是為了保護持久化的數據一致性問題。如果自己的業務有完善的監控系統,可以禁止此項配置, 否則請開啟。

關于壓縮的配置 rdbcompression yes ,建議沒有必要開啟,畢竟Redis本身就屬于CPU密集型服務器,再開啟壓縮會帶來更多的CPU消耗,相比硬盤成本,CPU更值錢。

當然如果你想要禁用RDB配置,也是非常容易的,只需要在save的最后一行寫上:save ""

AOF的配置

# 是否開啟aof
appendonly yes# 文件名稱
appendfilename "appendonly.aof"# 同步方式
appendfsync everysec# aof重寫期間是否同步
no-appendfsync-on-rewrite no# 重寫觸發配置
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb# 加載aof時如果有錯如何處理
aof-load-truncated yes# 文件重寫策略
aof-rewrite-incremental-fsync yes

還是重點解釋一些關鍵的配置:

appendfsync everysec 它其實有三種模式:

  • always:把每個寫命令都立即同步到aof,很慢,但是很安全
  • everysec:每秒同步一次,是折中方案
  • no:redis不處理交給OS來處理,非常快,但是也最不安全

一般情況下都采用 everysec 配置,這樣可以兼顧速度與安全,最多損失1s的數據。

aof-load-truncated yes?如果該配置啟用,在加載時發現aof尾部不正確是,會向客戶端寫入一個log,但是會繼續執行,如果設置為 no ,發現錯誤就會停止,必須修復后才能重新加載。

工作原理

關于原理部分,我們主要來看RDB與AOF是如何完成持久化的,他們的過程是如何。

在介紹原理之前先說下Redis內部的定時任務機制,定時任務執行的頻率可以在配置文件中通過 hz 10 來設置(這個配置表示1s內執行10次,也就是每100ms觸發一次定時任務)。該值最大能夠設置為:500,但是不建議超過:100,因為值越大說明執行頻率越頻繁越高,這會帶來CPU的更多消耗,從而影響主進程讀寫性能。

定時任務使用的是Redis自己實現的 TimeEvent,它會定時去調用一些命令完成定時任務,這些任務可能會阻塞主進程導致Redis性能下降。因此我們在配置Redis時,一定要整體考慮一些會觸發定時任務的配置,根據實際情況進行調整。

RDB的原理

在Redis中RDB持久化的觸發分為兩種:自己手動觸發與Redis定時觸發。

針對RDB方式的持久化,手動觸發可以使用:

  • save:會阻塞當前Redis服務器,直到持久化完成,線上應該禁止使用。
  • bgsave:該觸發方式會fork一個子進程,由子進程負責持久化過程,因此阻塞只會發生在fork子進程的時候。

而自動觸發的場景主要是有以下幾點:

  • 根據我們的 save m n 配置規則自動觸發;
  • 從節點全量復制時,主節點發送rdb文件給從節點完成復制操作,主節點會觸發 bgsave;
  • 執行 debug reload 時;
  • 執行 shutdown時,如果沒有開啟aof,也會觸發。

由于save基本不會被使用到,我們重點看看bgsave這個命令是如何完成RDB的持久化的。

這里注意的是?fork?操作會阻塞,導致Redis讀寫性能下降。我們可以控制單個Redis實例的最大內存,來盡可能降低Redis在fork時的事件消耗。以及上面提到的自動觸發的頻率減少fork次數,或者使用手動觸發,根據自己的機制來完成持久化。

AOF的原理

AOF的整個流程大體來看可以分為兩步,一步是命令的實時寫入(如果是 appendfsync everysec 配置,會有1s損耗),第二步是對aof文件的重寫。

對于增量追加到文件這一步主要的流程是:命令寫入=》追加到aof_buf =》同步到aof磁盤。那么這里為什么要先寫入buf在同步到磁盤呢?如果實時寫入磁盤會帶來非常高的磁盤IO,影響整體性能。

aof重寫是為了減少aof文件的大小,可以手動或者自動觸發,關于自動觸發的規則請看上面配置部分。fork的操作也是發生在重寫這一步,也是這里會對主進程產生阻塞。

手動觸發: bgrewriteaof自動觸發 就是根據配置規則來觸發,當然自動觸發的整體時間還跟Redis的定時任務頻率有關系。

下面來看看重寫的一個流程圖:

?

對于上圖有四個關鍵點補充一下:

  1. 在重寫期間,由于主進程依然在響應命令,為了保證最終備份的完整性;因此它依然會寫入舊的AOF file中,如果重寫失敗,能夠保證數據不丟失。
  2. 為了把重寫期間響應的寫入信息也寫入到新的文件中,因此也會為子進程保留一個buf,防止新寫的file丟失數據。
  3. 重寫是直接把當前內存的數據生成對應命令,并不需要讀取老的AOF文件進行分析、命令合并。
  4. AOF文件直接采用的文本協議,主要是兼容性好、追加方便、可讀性高可認為修改修復。

不能是RDB還是AOF都是先寫入一個臨時文件,然后通過?rename?完成文件的替換工作。?

從持久化中恢復數據

數據的備份、持久化做完了,我們如何從這些持久化文件中恢復數據呢?如果一臺服務器上有既有RDB文件,又有AOF文件,該加載誰呢?

其實想要從這些文件中恢復數據,只需要重新啟動Redis即可。我們還是通過圖來了解這個流程:

?

啟動時會先檢查AOF文件是否存在,如果不存在就嘗試加載RDB。那么為什么會優先加載AOF呢?因為AOF保存的數據更完整,通過上面的分析我們知道AOF基本上最多損失1s的數據。

性能與實踐

通過上面的分析,我們都知道RDB的快照、AOF的重寫都需要fork,這是一個重量級操作,會對Redis造成阻塞。因此為了不影響Redis主進程響應,我們需要盡可能降低阻塞。

  1. 降低fork的頻率,比如可以手動來觸發RDB生成快照、與AOF重寫;
  2. 控制Redis最大使用內存,防止fork耗時過長;
  3. 使用更牛逼的硬件;
  4. 合理配置Linux的內存分配策略,避免因為物理內存不足導致fork失敗。

在線上我們到底該怎么做?我提供一些自己的實踐經驗。

  1. 如果Redis中的數據并不是特別敏感或者可以通過其它方式重寫生成數據,可以關閉持久化,如果丟失數據可以通過其它途徑補回;
  2. 自己制定策略定期檢查Redis的情況,然后可以手動觸發備份、重寫數據;
  3. 單機如果部署多個實例,要防止多個機器同時運行持久化、重寫操作,防止出現內存、CPU、IO資源競爭,讓持久化變為串行;
  4. 可以加入主從機器,利用一臺從機器進行備份處理,其它機器正常響應客戶端的命令;
  5. RDB持久化與AOF持久化可以同時存在,配合使用。

?

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/bicheng/71873.shtml
繁體地址,請注明出處:http://hk.pswp.cn/bicheng/71873.shtml
英文地址,請注明出處:http://en.pswp.cn/bicheng/71873.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

HarmonyOS Design 介紹

HarmonyOS Design 介紹 文章目錄 HarmonyOS Design 介紹一、HarmonyOS Design 是什么?1. 設計系統(Design System)2. UI 框架的支持3. 設計工具和資源4. 開發指南5. 與其他設計系統的對比總結 二、HarmonyOS Design 特點 | 應用場景1. Harmon…

PC端-發票真偽查驗系統-Node.js全國發票查詢接口

在現代企業的財務管理中,發票真偽的驗證至關重要。隨著電子發票的普及,假發票問題日益嚴峻,如何高效、準確的對發票進行真偽查驗,已經成為各類企業在日常運營中必須解決的關鍵問題。翔云發票查驗接口做企業財務管理、稅務合規的好…

Java 大視界 -- 基于 Java 的大數據機器學習模型壓縮與部署優化(99)

💖親愛的朋友們,熱烈歡迎來到 青云交的博客!能與諸位在此相逢,我倍感榮幸。在這飛速更迭的時代,我們都渴望一方心靈凈土,而 我的博客 正是這樣溫暖的所在。這里為你呈上趣味與實用兼具的知識,也…

算法-圖-數據結構(鄰接矩陣)-BFS廣度優先遍歷

鄰接矩陣廣度優先遍歷(BFS)是一種用于遍歷或搜索圖的算法,以下是具體介紹: 1. 基本概念 圖是一種非線性的數據結構,由頂點和邊組成,可分為無向圖、有向圖、加權圖、無權圖等。鄰接矩陣是表示圖的一種數…

【HDLbits--Comb組合邏輯】

HDLbits--Comb組合邏輯 1.5 組合邏輯1.5 Demo 在 Verilog 中,組合邏輯(Combinational Logic)是指輸出僅依賴于當前輸入的邏輯電路,沒有記憶功能(即沒有狀態存儲)。組合邏輯的特點是: 無時鐘信號…

ARM Cortex-M3 技術解析:核寄存器R1-R15介紹及使用

ARM Cortex-M3 技術解析:核寄存器R1-R15介紹及使用 作為嵌入式開發領域的經典處理器內核,ARM Cortex-M3(CM3)憑借其高效能、低功耗和豐富特性,在工業控制、物聯網、消費電子等領域廣泛應用。而內核寄存器是我們調試代…

python unzip file

要在 Python 中解壓文件并顯示進度,我們需要在解壓過程中跟蹤文件的提取進度。由于 zipfile 模塊本身不直接支持進度顯示,我們可以通過手動計算并使用 tqdm 庫來顯示進度條。 安裝 tqdm 首先,確保你已經安裝了 tqdm 庫,用于顯示…

DeepSeek+Kimi生成高質量PPT

DeepSeek與Kimi生成PPT全流程解析 一、工具分工原理 DeepSeek核心作用:生成結構化PPT大綱(擅長邏輯構建與內容優化)Kimi核心作用:將文本轉換為視覺化PPT(提供模板庫與排版引擎) 二、操作步驟詳解 1. 通…

一文掌握python中正則表達式的各種使用

文章目錄 1. 正則表達式基礎1.1 常用元字符1.2 基本用法 2. 正則表達式高級功能2.1 分組捕獲2.2 命名分組2.3 非貪婪匹配2.4 零寬斷言2.5 編譯正則表達式2.6 轉義字符 3. 常見應用場景3.1 驗證郵箱格式3.2 提取 URL3.3 提取日期3.4 提取HTML中的鏈接3.5 提取HTML中的圖片鏈接3.…

TCP,http,WebSocket

TCP(Transmission Control Protocol,傳輸控制協議)和HTTP(HyperText Transfer Protocol,超文本傳輸協議)都是網絡通信中的重要協議,但它們在網絡協議棧的不同層次上工作,各自負責不同…

Redis|持久化

文章目錄 總體介紹RDB(Redis DataBase)官網介紹案例演示優勢劣勢如何檢查修復 dump.rdb 文件哪些情況下會觸發 RDB 快照如何禁用快照RDB 優化配置項詳解小總結 AOF(Append Only File)官網介紹是什么能干嘛AOF 持久化工作流程AOF 緩…

Docker小游戲 | 使用Docker部署star-battle太空飛船射擊小游戲

Docker小游戲 | 使用Docker部署star-battle太空飛船射擊小游戲 前言項目介紹項目簡介項目預覽二、系統要求環境要求環境檢查Docker版本檢查檢查操作系統版本三、部署star-battle網頁小游戲下載鏡像創建容器檢查容器狀態檢查服務端口安全設置四、訪問star-battle網頁小游戲五、總…

巨控科技的GRM550元出魔抗實現PLC遠程下載與維護方案:工業自動化的高效解決方案

巨控科技PLC遠程下載與維護方案:工業自動化的高效解決方案 在工業自動化領域,設備的高效維護與快速調試是保障生產連續性的關鍵。巨控科技推出的PLC遠程下載與維護方案,憑借其先進的技術和廣泛兼容性,成為企業實現設備遠程管理的…

ChatGLM2-6B如何從輸入到輸出-代碼解析(二)

出發點 上一篇解析了Chatglm2-6b的模型架構,并和Chatglm-6b進行對比,但是留下了幾個問題(哭)這一篇的目的是講明白attention和rotaryEmbedding,解決問題,并實現整體目標,完全替代modeling_chat…

Sublime Text4安裝、漢化

-------------2025-02-22可用---------------------- 官方網址下載:https://www.sublimetext.com 打開https://hexed.it 點擊打開文件找到軟件安裝目錄下的 ctrlf 查找 8079 0500 0f94 c2右邊啟用替換替換為:c641 0501 b200 90點擊替換按鈕 替換完成后 另存為本地…

汽車開放系統架構(AUTOSAR)中運行時環境(RTE)生成過程剖析

一、引言 在當今高度智能化的汽車電子領域,軟件系統的復雜性呈指數級增長。為了應對這一挑戰,汽車開放系統架構(AUTOSAR)應運而生,它為汽車電子軟件開發提供了標準化的分層架構和開發方法。其中,運行時環境…

基于MATLAB的OFDM通信系統仿真設計

下面將為你詳細介紹基于MATLAB的OFDM通信系統仿真設計的步驟和示例代碼。 1. OFDM系統原理概述 正交頻分復用(OFDM)是一種多載波調制技術,它將高速數據流通過串并轉換,分配到多個正交的子載波上進行傳輸,這樣可以有效…

stm32仿真 74hc238流水燈 數碼管動態數字顯示

f103c6t6a_hex文件 #include "main.h"![請添加圖片描述](https://i-blog.csdnimg.cn/direct/8c0d44b121134cf08f5186df316ea07f.gif)#include "stdlib.h"void SystemClock_Config(void); static void MX_GPIO_Init(void); // 自定義abc引腳 #define A_PIN…

結構型模式 - 代理模式 (Proxy Pattern)

結構型模式 - 代理模式 (Proxy Pattern) 代理模式是一種結構型設計模式,它允許通過代理對象來控制對另一個對象(目標對象)的訪問。代理對象充當目標對象的接口,客戶端通過代理對象間接訪問目標對象。 分為兩大類 靜態代理&#…

網絡層(IP)

基本概念 子網和局域網是一個概念主機: 配有 IP 地址, 也能進行路由控制的設備;路由器: 即配有 IP 地址, 又能進行路由控制;節點: 路由器和主機的統稱。 背景 兩主機并不是直接連接的,路徑選擇問題?為什么? 由網絡層&#xff08…