緩存更新的套路

看到好些人在寫更新緩存數據代碼時,先刪除緩存,然后再更新數據庫,而后續的操作會把數據再裝載的緩存中。然而,這個是邏輯是錯誤的。試想,兩個并發操作,一個是更新操作,另一個是查詢操作,更新操作刪除緩存后,查詢操作沒有命中緩存,先把老數據讀出來后放到緩存中,然后更新操作更新了數據庫。于是,在緩存中的數據還是老的數據,導致緩存中的數據是臟的,而且還一直這樣臟下去了。

我不知道為什么這么多人用的都是這個邏輯,當我在微博上發了這個貼以后,我發現好些人給了好多非常復雜和詭異的方案,所以,我想寫這篇文章說一下幾個緩存更新的Design Pattern(讓我們多一些套路吧)。

這里,我們先不討論更新緩存和更新數據這兩個事是一個事務的事,或是會有失敗的可能,我們先假設更新數據庫和更新緩存都可以成功的情況(我們先把成功的代碼邏輯先寫對)。

更新緩存的的Design Pattern有四種:Cache aside, Read through, Write through, Write behind caching,我們下面一一來看一下這四種Pattern。

Cache Aside Pattern

這是最常用最常用的pattern了。其具體邏輯如下:

  • 失效:應用程序先從cache取數據,沒有得到,則從數據庫中取數據,成功后,放到緩存中。
  • 命中:應用程序從cache中取數據,取到后返回。
  • 更新:先把數據存到數據庫中,成功后,再讓緩存失效。

Cache-Aside-Design-Pattern-Flow-Diagram

Updating-Data-using-the-Cache-Aside-Pattern-Flow-Diagram-1

注意,我們的更新是先更新數據庫,成功后,讓緩存失效。那么,這種方式是否可以沒有文章前面提到過的那個問題呢?我們可以腦補一下。

一個是查詢操作,一個是更新操作的并發,首先,沒有了刪除cache數據的操作了,而是先更新了數據庫中的數據,此時,緩存依然有效,所以,并發的查詢操作拿的是沒有更新的數據,但是,更新操作馬上讓緩存的失效了,后續的查詢操作再把數據從數據庫中拉出來。而不會像文章開頭的那個邏輯產生的問題,后續的查詢操作一直都在取老的數據。

這是標準的design pattern,包括Facebook的論文《Scaling Memcache at Facebook》也使用了這個策略。為什么不是寫完數據庫后更新緩存?你可以看一下Quora上的這個問答《Why does Facebook use delete to remove the key-value pair in Memcached instead of updating the Memcached during write request to the backend?》,主要是怕兩個并發的寫操作導致臟數據。

那么,是不是Cache Aside這個就不會有并發問題了?不是的,比如,一個是讀操作,但是沒有命中緩存,然后就到數據庫中取數據,此時來了一個寫操作,寫完數據庫后,讓緩存失效,然后,之前的那個讀操作再把老的數據放進去,所以,會造成臟數據。

但,這個case理論上會出現,不過,實際上出現的概率可能非常低,因為這個條件需要發生在讀緩存時緩存失效,而且并發著有一個寫操作。而實際上數據庫的寫操作會比讀操作慢得多,而且還要鎖表,而讀操作必需在寫操作前進入數據庫操作,而又要晚于寫操作更新緩存,所有的這些條件都具備的概率基本并不大。

所以,這也就是Quora上的那個答案里說的,要么通過2PC或是Paxos協議保證一致性,要么就是拼命的降低并發時臟數據的概率,而Facebook使用了這個降低概率的玩法,因為2PC太慢,而Paxos太復雜。當然,最好還是為緩存設置上過期時間。

Read/Write Through Pattern

我們可以看到,在上面的Cache Aside套路中,我們的應用代碼需要維護兩個數據存儲,一個是緩存(Cache),一個是數據庫(Repository)。所以,應用程序比較啰嗦。而Read/Write Through套路是把更新數據庫(Repository)的操作由緩存自己代理了,所以,對于應用層來說,就簡單很多了。可以理解為,應用認為后端就是一個單一的存儲,而存儲自己維護自己的Cache。

Read Through

Read Through 套路就是在查詢操作中更新緩存,也就是說,當緩存失效的時候(過期或LRU換出),Cache Aside是由調用方負責把數據加載入緩存,而Read Through則用緩存服務自己來加載,從而對應用方是透明的。

Write Through

Write Through 套路和Read Through相仿,不過是在更新數據時發生。當有數據更新的時候,如果沒有命中緩存,直接更新數據庫,然后返回。如果命中了緩存,則更新緩存,然后再由Cache自己更新數據庫(這是一個同步操作)

下圖自來Wikipedia的Cache詞條。其中的Memory你可以理解為就是我們例子里的數據庫。

Write-through_with_no-write-allocation

Write Behind Caching Pattern

Write Behind 又叫 Write Back。一些了解Linux操作系統內核的同學對write back應該非常熟悉,這不就是Linux文件系統的Page Cache的算法嗎?是的,你看基礎這玩意全都是相通的。所以,基礎很重要,我已經不是一次說過基礎很重要這事了。

Write Back套路,一句說就是,在更新數據的時候,只更新緩存,不更新數據庫,而我們的緩存會異步地批量更新數據庫。這個設計的好處就是讓數據的I/O操作飛快無比(因為直接操作內存嘛 ),因為異步,write backg還可以合并對同一個數據的多次操作,所以性能的提高是相當可觀的。

但是,其帶來的問題是,數據不是強一致性的,而且可能會丟失(我們知道Unix/Linux非正常關機會導致數據丟失,就是因為這個事)。在軟件設計上,我們基本上不可能做出一個沒有缺陷的設計,就像算法設計中的時間換空間,空間換時間一個道理,有時候,強一致性和高性能,高可用和高性性是有沖突的。軟件設計從來都是取舍Trade-Off。

另外,Write Back實現邏輯比較復雜,因為他需要track有哪數據是被更新了的,需要刷到持久層上。操作系統的write back會在僅當這個cache需要失效的時候,才會被真正持久起來,比如,內存不夠了,或是進程退出了等情況,這又叫lazy write。

在wikipedia上有一張write back的流程圖,基本邏輯如下:

Write-back_with_write-allocation

?

1)上面講的這些Design Pattern,其實并不是軟件架構里的mysql數據庫和memcache/redis的更新策略,這些東西都是計算機體系結構里的設計,比如CPU的緩存,硬盤文件系統中的緩存,硬盤上的緩存,數據庫中的緩存。基本上來說,這些緩存更新的設計模式都是非常老古董的,而且歷經長時間考驗的策略,所以這也就是,工程學上所謂的Best Practice,遵從就好了。

2)有時候,我們覺得能做宏觀的系統架構的人一定是很有經驗的,其實,宏觀系統架構中的很多設計都來源于這些微觀的東西。比如,云計算中的很多虛擬化技術的原理,和傳統的虛擬內存不是很像么?Unix下的那些I/O模型,也放大到了架構里的同步異步的模型,還有Unix發明的管道不就是數據流式計算架構嗎?TCP的好些設計也用在不同系統間的通訊中,仔細看看這些微觀層面,你會發現有很多設計都非常精妙……所以,請允許我在這里放句觀點鮮明的話——如果你要做好架構,首先你得把計算機體系結構以及很多老古董的基礎技術吃透了

3)在軟件開發或設計中,我非常建議在之前先去參考一下已有的設計和思路,看看相應的guideline,best practice或design pattern,吃透了已有的這些東西,再決定是否要重新發明輪子。千萬不要似是而非地,想當然的做軟件設計。

4)上面,我們沒有考慮緩存(Cache)和持久層(Repository)的整體事務的問題。比如,更新Cache成功,更新數據庫失敗了怎么嗎?或是反過來。關于這個事,如果你需要強一致性,你需要使用“兩階段提交協議”——prepare, commit/rollback,比如Java 7 的XAResource,還有MySQL 5.7的?XA Transaction,有些cache也支持XA,比如EhCache。當然,XA這樣的強一致性的玩法會導致性能下降,關于分布式的事務的相關話題,你可以看看《分布式系統的事務處理》一文。

摘錄:http://coolshell.cn/articles/17416.html

轉載于:https://www.cnblogs.com/xhyouyou/p/6061916.html

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/270490.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/270490.shtml
英文地址,請注明出處:http://en.pswp.cn/news/270490.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

怎樣獲取當前頁面值php,想要得到當前頁面的所有url參數信息怎么用PHP來實現?...

本篇文章主要給大家介紹怎么使用php獲取完整url。首先給新手小白們簡單介紹下什么是url。百度百科上是這么解說的,統一資源定位符是對可以從互聯網上得到的資源的位置和訪問方法的一種簡潔的表示,是互聯網上標準資源的地址。互聯網上的每個文件都有一個唯…

@PostConstruct注解學習,最詳細的分享教程

該注解可以實現在運行工程時,自動運行該注解下的方法; PostConstruct是java自帶的注解,指的是在項目啟動的時候執行這個方法,也可以理解為在spring容器啟動的時候執行,可作為一些數據的常規化加載,比如數據…

電腦知識:分享實用的電腦維護小常識

目錄 常識1:杜絕直接拔電腦電源強行關機 常識2:不要用電池玩游戲 常識3:開不了機可以嘗試插拔內存條 常識4:電腦散熱的處理方法 常識5:避免在電腦工作時拔插頭 今天小編就為大家帶來一些電腦日常實用中的維護小知識&am…

Sentinel實現黑白名單控制詳細教程來了

一:新建一個IpRequestOriginParser類,實現RequestOriginParser接口,配置如下 public class IpRequestOriginParser implements RequestOriginParser {/*** Parse the origin from given HTTP request.** param request HTTP request* return …

php獲取服務器名稱,PHP 獲取服務器詳細信息

獲取系統類型及版本號: php_uname() (例:Windows NT COMPUTER 5.1 build 2600)只獲取系統類型: php_uname(s) (或:PHP_OS,例:Windows NT)只獲取系統版本號: php_u…

D. Anton and Chess 模擬題 + 讀題

http://codeforces.com/contest/734/problem/D 一開始的時候看不懂題目,以為象是中國象棋那樣走,然后看不懂樣例。 原來是走對角線的,長知識了。 所以我們就知道,王有八個方向,所以每個方向選一個來做代表就行了。 那么…

電腦知識:常見電腦藍屏代碼識別與處理方法

電腦藍屏怎么辦? 相信大家都遇到過藍屏的問題, 有時候電腦用著用著就突然藍屏了, 或者某天開機突然藍屏了…… 電腦藍屏的原因非常的多, 到底是什么引起的呢? 收集了一些最常見的幾種藍屏代碼, 大家只需要如…

sentinel的@SentinelResource注解使用

客戶自定義限流處理邏輯 創建ExceptionUtil類用于自定義限流處理邏輯 自定義限流處理類: ExceptionUtil 二:新增 SentinelResource注解 配置 SentinelResource(value “hello2”, blockHandler “exHandler”, blockHandlerClass {ExceptionUtil.class}) 通過…

PHP寫猜數字,PHP算法之猜數字

小A 和 小B 在玩猜數字。小B 每次從 1, 2, 3 中隨機選擇一個,小A 每次也從 1, 2, 3 中選擇一個猜。他們一共進行三次這個游戲,請返回 小A 猜對了幾次?輸入的guess數組為 小A 每次的猜測,answer數組為 小B 每次的選擇。guess和answ…

總結一年來的前端學習心得

到今天,前端學習剛好滿一年。我也順利從非計算機專業轉到前端。對于前端學習,自己也是摸著石頭過河,中間也有過困惑和迷茫。本文主要講述自己一年來對于前端學習的心得體會,希望能對學習前端的人提供一些幫助。 前端主要分為三部分…

辦公技巧:10個WORD神操作,值得收藏

目錄 1、F4鍵 2、Ctrl字母快捷鍵 3、巧用“文檔比較” 4、巧用替換功能 5、特殊字體保存 6、Word表格隨心粘 7、去除超鏈接 8、Word圖片輕松移 9、截圖 10、格式刷不停 在日常辦公當中, Word文檔就是我們最常用的軟件之一。用它我們寫論文、寫方案、寫小說等等。 但…

MYSQL學習:GROUP BY分組取最新的一條記錄

日常開發當中,經常會遇到查詢分組數據中最新的一條記錄,比如統計當前系統每個人的最新登錄記錄、外賣系統統計所有買家最新的一次訂單記錄、圖書管理系統借閱者最新借閱書籍的記錄等等。今天給大家介紹一下如何實現以上場景的SQL寫法,希望對大…

@SentinelResource注解實現熱點限流

下圖中請求url中param參數為axb,如果QPS超過5,就會限流 一:如下代碼 RestController public class ParamController {GetMapping("/param")SentinelResource(value "param", blockHandler "exHandler")p…

[LeetCode] 4Sum II 四數之和之二

Given four lists A, B, C, D of integer values, compute how many tuples (i, j, k, l) there are such that A[i] B[j] C[k] D[l] is zero. To make problem a bit easier, all A, B, C, D have same length of N where 0 ≤ N ≤ 500. All integers are in the range of…

php的正則表達式函數,php中常用的正則表達式函數

php中常用的正則表達式函數* preg_match()* preg_match_all()* preg_replace()* preg_filter()* preg_grep()* preg_split()* preg_quote()接下來對比講解:講解中 $pattern 通常表示正則表達式$subject 通常表示目標處理數據定義一個方法 方便查看數據類型&#xff…

硬件知識:固態硬盤4K對齊知識介紹

目錄 1、什么是4K對齊呢? 2、怎么查看硬盤是否4K對齊呢? 3、怎么4K對齊呢? 現在大家基本都有一個固態硬盤,而在固態硬盤分區中4K對齊是非常重要的。 1、什么是4K對齊呢? “4K對齊”就是符合“4K扇區”定義格式化過的硬…

【spring cloud】注解@SpringCloudApplication和@SpringBootApplication的區別

SpringCloudApplication注解 注解SpringCloudApplication包括:SpringBootApplication、EnableDiscoveryClient、EnableCircuitBreaker,分別是SpringBoot注解、注冊服務中心Eureka注解、斷路器注解。對于SpringCloud來說,這是每一微服務必須應…

網絡知識:路由器常見故障分析及處理方法

目錄 1.路由器的部分功能無法實現 2.網絡頻繁掉線 3.無法瀏覽網頁 4.某些應用無法使用 5.網絡帶寬達不到合同帶寬或相差甚遠 6.局域網內存在多個路由器,因人為原因出現二級路由 對當前的大多數網絡來說,無論是實現網絡互連還是訪問Internet&a…

matlab找不到函數系統函數,求助,Matlab找不到ztrans函數

只把這個函數給你吧,你自己保存下:function F ztrans(varargin)%ZTRANS Z-transform.% F ZTRANS(f) is the Z-transform of the scalar sym f with default% independent variable n. The default return is a function of z:% f f(n) > F F(z). The Z-transfor…

硬件技巧:如何隱設置的你的電腦U盤不可見

有時候電腦里面有重要內容,在不聯網的情況下,還需要禁用U盤,下面介紹禁用U盤的方法,原創文章,轉載注明出處即可。 第一步,首先在電腦上點擊開始按鈕,或者直接按下快捷鍵組合"WinR"&am…