文章目錄
- 前言
- 一、過期數據
- 二、數據刪除策略
- 2.1定時刪除
- 2.2惰性刪除
- 2.3 定期刪除
- 2.4 刪除策略比對
- 三、逐出算法
- 3.1影響數據逐出的相關配置
- 總結
前言
Redis的常用刪除策略
一、過期數據
Redis是一種內存級數據庫,所有數據均存放在內存中,內存中的數據可以通過TTL指令獲取其狀態
- XX :具有時效性的數據
- -1 :永久有效的數據
- -2 :已經過期的數據或被刪除的數據或未定義的數據
注:過期數據并不是真的被刪除了
二、數據刪除策略
數據刪除策略的目標:在內存占用與CPU占用之間尋找一種平衡,顧此失彼都會造成整體redis性能的下降,甚至引發服務器宕機或內存泄露。
1. 定時刪除
2. 惰性刪除
3. 定期刪除
2.1定時刪除
- 創建一個定時器,當key設置有過期時間,且過期時間到達時,由定時器任務立即執行對鍵的刪除操作
- 優點:節約內存,到時就刪除,快速釋放掉不必要的內存占用
- 缺點:CPU壓力很大,無論CPU此時負載量多高,均占用CPU,會影響redis服務器響應時間和指令吞吐量
- 總結:用處理器性能換取存儲空間(拿時間換空間)
2.2惰性刪除
- 數據到達過期時間,不做處理。等下次訪問該數據時
- 如果未過期,返回數據
- 發現已過期,刪除,返回不存在
- 優點:節約CPU性能,發現必須刪除的時候才刪除
- 缺點:內存壓力很大,出現長期占用內存的數據
- 總結:用存儲空間換取處理器性能(拿空間換時間)
2.3 定期刪除
我們可以發現定時刪除和惰性刪除方案都走了極端,會舍棄一個空間或者時間,那么有沒有折中的方案呢?有,那就是定期刪除
定期刪除邏輯
- Redis啟動服務器初始化時,讀取配置server.hz的值,默認為10
- 每秒鐘執行server.hz次serverCron()中的方法—databasesCron()—activeExpireCycle()
- activeExpireCycle()對每個expires[]逐一進行檢測,每次執行250ms/server.hz
對某個expires[]檢測時,隨機挑選W個key檢測
- 如果key超時,刪除key
- 如果一輪中刪除的key的數量>W * 25%,循環該過程
- 如果一輪中刪除的key的數量≤W * 25%,檢查下一個expires[],0-15循環
- W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP屬性值
- 參數current_db用于記錄activeExpireCycle() 進入哪個expires[*] 執行
- 如果activeExpireCycle()執行時間到期,下次從current_db繼續向下執行
Redis存儲空間圖:
定期刪除:周期性輪詢redis庫中的時效性數據,采用隨機抽取的策略,利用過期數據占比的方式控制刪除頻度
- 優點1:CPU性能占用設置有峰值,檢測頻度可自定義設置
- 優點2:內存壓力不是很大,長期占用內存的冷數據會被持續清理
- 總結:周期性抽查存儲空間 (隨機抽查,重點抽查)
2.4 刪除策略比對
刪除策略 | 優點 | 缺點 | 核心思想 |
---|---|---|---|
定時刪除 | 節約內存,不占用 | 不分時段占用CPU資源,頻度高 | 拿時間換空間 |
惰性刪除 | 延時執行,CPU利用率高 | 內存占用嚴重 | 拿空間換時間 |
定期刪除 | 內存定期隨機清理,每秒花費固定的CPU資源維護內存,不太耗費CPU資源 | 無明顯缺點 | 隨機抽查,重點抽查 |
三、逐出算法
當新數據進入redis時,如果內存不足怎么辦?
- Redis使用內存存儲數據,在執行每一個命令前,會調用freeMemoryIfNeeded()方法檢測內存是否充足。如果內存不滿足新加入數據的最低存儲要求,redis要臨時刪除一些數據為當前指令清理存儲
空間。清理數據的策略稱為逐出算法。
注意:逐出數據的過程不是100%能夠清理出足夠的可使用的內存空間,如果不成功則反復執行。當對所有數據嘗試完畢后,如果不能達到內存清理的要求,將出現錯誤信息拋出異常:(error) OOM command not allowed when used memory >'maxmemory。
3.1影響數據逐出的相關配置
-
maxmemory最大可使用內存:
占用物理內存的比例,默認值為0,表示不限制,生產環境中根據需求設定,通常設置在50%以上。 -
maxmemory-samples每次選取待刪除數據的個數:
選取數據時并不會全庫掃描,導致嚴重的性能消耗,降低讀寫性能。因此采用隨機獲取數據的方式作為待檢測刪除數據 -
maxmemory-policy刪除策略:
檢測易失數據(可能會過期的數據集server.db[i].expires )- ① volatile-lru:挑選最近最少使用的數據淘汰
- ② volatile-lfu:挑選最近使用次數最少的數據淘汰
- ③ volatile-ttl:挑選將要過期的數據淘汰
- ④ volatile-random:任意選擇數據淘汰
檢測全庫數據(所有數據集server.db[i].dict )
- ⑤ allkeys-lru:挑選最近最少使用的數據淘汰
- ⑥ allkeys-lfu:挑選最近使用次數最少的數據淘汰
- ⑦ allkeys-random:任意選擇數據淘汰
放棄數據驅逐
- ⑧ no-enviction(驅逐):禁止驅逐數據(redis4.0中默認策略),會引發錯誤OOM(Out OfMemory)達到最大內存后的,對被挑選出來的數據進行刪除的策略
LRU和LFU區別圖解:
總結
以上就是Redis的各種刪除策略。