Redis與MySQL雙寫一致性如何保證

圖片

談談一致性

圖片

一致性就是數據保持一致,在分布式系統中,可以理解為多個節點中數據的值是一致的。

  • 強一致性:這種一致性級別是最符合用戶直覺的,它要求系統寫入什么,讀出來的也會是什么,用戶體驗好,但實現起來往往對系統的性能影響大

  • 弱一致性:這種一致性級別約束了系統在寫入成功后,不承諾立即可以讀到寫入的值,也不承諾多久之后數據能夠達到一致,但會盡可能地保證到某個時間級別(比如秒級別)后,數據能夠達到一致狀態

  • 最終一致性:最終一致性是弱一致性的一個特例,系統會保證在一定時間內,能夠達到一個數據一致的狀態。這里之所以將最終一致性單獨提出來,是因為它是弱一致性中非常推崇的一種一致性模型,也是業界在大型分布式系統的數據一致性上比較推崇的模型

三個經典的緩存模式

緩存可以提升性能、緩解數據庫壓力,但是使用緩存也會導致數據不一致性的問題。一般我們是如何使用緩存呢?有三種經典的緩存使用模式:

  • Cache-Aside Pattern

  • Read-Through/Write-through

  • Write-behind

Cache-Aside Pattern

Cache-Aside Pattern,即旁路緩存模式,它的提出是為了盡可能地解決緩存與數據庫的數據不一致問題。

Cache-Aside讀流程

Cache-Aside Pattern的讀請求流程如下:

圖片

Cache-Aside讀請求

  1. 讀的時候,先讀緩存,緩存命中的話,直接返回數據

  2. 緩存沒有命中的話,就去讀數據庫,從數據庫取出數據,放入緩存后,同時返回響應。

Cache-Aside 寫流程

Cache-Aside Pattern的寫請求流程如下:

圖片

Cache-Aside寫請求

更新的時候,先更新數據庫,然后再刪除緩存

Read-Through/Write-Through(讀寫穿透)

Read/Write-Through模式中,服務端把緩存作為主要數據存儲。應用程序跟數據庫緩存交互,都是通過抽象緩存層完成的。

Read-Through

Read-Through的簡要流程如下

圖片

Read-Through簡要流程

  1. 從緩存讀取數據,讀到直接返回

  2. 如果讀取不到的話,從數據庫加載,寫入緩存后,再返回響應。

這個簡要流程是不是跟Cache-Aside很像呢?其實Read-Through就是多了一層Cache-Provider而已,流程如下:

圖片

Read-Through流程

Read-Through實際只是在Cache-Aside之上進行了一層封裝,它會讓程序代碼變得更簡潔,同時也減少數據源上的負載。

Write-Through

Write-Through模式下,當發生寫請求時,也是由緩存抽象層完成數據源和緩存數據的更新,流程如下:

圖片

Write-behind (異步緩存寫入)

Write-behind?跟Read-Through/Write-Through有相似的地方,都是由Cache Provider來負責緩存和數據庫的讀寫。它們又有個很大的不同:Read/Write-Through是同步更新緩存和數據的,Write-Behind則是只更新緩存,不直接更新數據庫,通過批量異步的方式來更新數據庫。

圖片

Write behind流程

這種方式下,緩存和數據庫的一致性不強,對一致性要求高的系統要謹慎使用。但是它適合頻繁寫的場景,MySQL的InnoDB Buffer Pool機制就使用到這種模式。

操作緩存的時候,到底是刪除緩存呢,還是更新緩存?

日常開發中,我們一般使用的就是Cache-Aside模式。有些小伙伴可能會問,Cache-Aside在寫入請求的時候,為什么是刪除緩存而不是更新緩存呢?

圖片

Cache-Aside寫入流程

我們在操作緩存的時候,到底應該刪除緩存還是更新緩存呢?我們先來看個例子:

圖片

  1. 線程A先發起一個寫操作,第一步先更新數據庫

  2. 線程B再發起一個寫操作,第二步更新了數據庫

  3. 由于網絡等原因,線程B先更新了緩存

  4. 線程A更新緩存。

這時候,緩存保存的是A的數據(老數據),數據庫保存的是B的數據(新數據),數據不一致了,臟數據出現啦。如果是刪除緩存取代更新緩存則不會出現這個臟數據問題。

更新緩存相對于刪除緩存,還有兩點劣勢:

  • 如果你寫入的緩存值,是經過復雜計算才得到的話。更新緩存頻率高的話,就浪費性能啦。

  • 在寫數據庫場景多,讀數據場景少的情況下,數據很多時候還沒被讀取到,又被更新了,這也浪費了性能呢(實際上,寫多的場景,用緩存也不是很劃算的,哈哈)

雙寫的情況下,先操作數據庫還是先操作緩存?

Cache-Aside緩存模式中,有些小伙伴還是會有疑問,在寫請求過來的時候,為什么是先操作數據庫呢?為什么不先操作緩存呢?

假設有A、B兩個請求,請求A做更新操作,請求B做查詢讀取操作。

圖片

  1. 線程A發起一個寫操作,第一步del cache

  2. 此時線程B發起一個讀操作,cache miss

  3. 線程B繼續讀DB,讀出來一個老數據

  4. 然后線程B把老數據設置入cache

  5. 線程A寫入DB最新的數據

醬紫就有問題啦,緩存和數據庫的數據不一致了。緩存保存的是老數據,數據庫保存的是新數據。因此,Cache-Aside緩存模式,選擇了先操作數據庫而不是先操作緩存。

  • 個別小伙伴可能會問,先操作數據庫再操作緩存,不一樣也會導致數據不一致嘛?它倆又不是原子性操作的。這個是會的,但是這種方式,一般因為刪除緩存失敗等原因,才會導致臟數據,這個概率就很低。小伙伴們可以畫下操作流程圖,自己先分析下哈。接下來我們再來分析這種刪除緩存失敗的情況,如何保證一致性

數據庫和緩存數據保持強一致,可以嘛?

實際上,沒辦法做到數據庫與緩存絕對的一致性

  • 加鎖可以嘛?并發寫期間加鎖,任何讀操作不寫入緩存?

  • 緩存及數據庫封裝CAS樂觀鎖,更新緩存時通過lua腳本?

  • 分布式事務,3PC?TCC?

其實,這是由CAP理論決定的。緩存系統適用的場景就是非強一致性的場景,它屬于CAP中的AP。個人覺得,追求絕對一致性的業務場景,不適合引入緩存

CAP理論,指的是在一個分布式系統中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分區容錯性),三者不可得兼。

但是,通過一些方案優化處理,是可以保證弱一致性,最終一致性的。

3種方案保證數據庫與緩存的一致性

緩存延時雙刪

有些小伙伴可能會說,并不一定要先操作數據庫呀,采用緩存延時雙刪策略,就可以保證數據的一致性啦。什么是延時雙刪呢?

圖片

延時雙刪流程

  1. 先刪除緩存

  2. 再更新數據庫

  3. 休眠一會(比如1秒),再次刪除緩存。

這個休眠一會,一般多久呢?都是1秒?

這個休眠時間 = ?讀業務邏輯數據的耗時 + 幾百毫秒。為了確保讀請求結束,寫請求可以刪除讀請求可能帶來的緩存臟數據。

這種方案還算可以,只有休眠那一會(比如就那1秒),可能有臟數據,一般業務也會接受的。但是如果第二次刪除緩存失敗呢?緩存和數據庫的數據還是可能不一致,對吧?給Key設置一個自然的expire過期時間,讓它自動過期怎樣?那業務要接受過期時間內,數據的不一致咯?還是有其他更佳方案呢?

刪除緩存重試機制

不管是延時雙刪還是Cache-Aside的先操作數據庫再刪除緩存,都可能會存在第二步的刪除緩存失敗,導致的數據不一致問題。可以使用這個方案優化:刪除失敗就多刪除幾次呀,保證刪除緩存成功就可以了呀~ 所以可以引入刪除緩存重試機制

圖片

刪除緩存重試流程

  1. 寫請求更新數據庫

  2. 緩存因為某些原因,刪除失敗

  3. 把刪除失敗的key放到消息隊列

  4. 消費消息隊列的消息,獲取要刪除的key

  5. 重試刪除緩存操作

讀取biglog異步刪除緩存

重試刪除緩存機制還可以吧,就是會造成好多業務代碼入侵。其實,還可以這樣優化:通過數據庫的binlog來異步淘汰key

圖片

以mysql為例吧

  • 可以使用阿里的canal將binlog日志采集發送到MQ隊列里面然后通過ACK機制確認處理這條更新消息,刪除緩存,保證數據緩存一致性

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/535366.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/535366.shtml
英文地址,請注明出處:http://en.pswp.cn/news/535366.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

weblogic忘記console密碼

進入 cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/security/ 目錄 執行 java -classpath /sotware/oracle_ldap/Middleware/wlserver_10.3/server/lib/weblogic.jar weblogic.security.utils.AdminAccount weblogic(賬號) weblogic123(密碼) . …

Mysql高性能優化技能總結

數據庫命令規范 所有數據庫對象名稱必須使用小寫字母并用下劃線分割 所有數據庫對象名稱禁止使用mysql保留關鍵字(如果表名中包含關鍵字查詢時,需要將其用單引號括起來) 數據庫對象的命名要能做到見名識意,并且最后不要超過32個…

Redis的AOF日志

如果 Redis 每執行一條寫操作命令,就把該命令以追加的方式寫入到一個文件里,然后重啟 Redis 的時候,先去讀取這個文件里的命令,并且執行它,這不就相當于恢復了緩存數據了嗎? 這種保存寫操作命令到日志的持久…

Redis 核心技術與實戰

目錄 開篇詞 | 這樣學 Redis,才能技高一籌 01 | 基本架構:一個鍵值數據庫包含什么? 02 | 數據結構:快速的Redis有哪些慢操作? 鍵和值用什么結構組織? 為什么哈希表操作變慢了? 有哪些底層數…

redis核心技術與實戰(二)緩存應用篇

1.《旁路緩存:redis 在緩存中工作原理》 1.緩存的兩個特征 1.什么是緩存,有什么特征? 磁盤->內存->cpu 之間讀寫速度差異巨大,為了平衡他們之間的差異,操作系統默認使用了兩種緩存; CPU 里面的末級…

redis核心技術與實戰(三) 性能篇

影響redis性能主要有以下部分: Redis 內部的阻塞式操作; CPU核和NUMA架構 Redis關鍵系統配置 Redis內存碎片 Redis緩沖區 下面一個個來介紹這些地方 1.《redis 有哪些阻塞點?》 redis實例主要交互的對象有以下幾點,我們依據下面這…

redis核心與實戰(一)數據結構篇

1.《redis數據結構概覽》 1.數據結構概覽 數據模型:一共5種,String(字符串)、List(列表)、Hash(哈希)、Set(集合)和 Sorted Set(有序集合&#xf…

redis核心技術與實戰(四)高可用高擴展篇

1.《redis架構組成》 1.redis學習維度 2.一個基本的鍵值型數據庫包括什么? 1.訪問框架 redis通過網絡框架進行訪問,使得 Redis 可以作為一個基礎性的網絡服務進行訪問,擴大了redis應用范圍; 過程:如果客戶端發送“pu…

tomcat監控腳本

#!/bin/sh# func:自動監控tomcat腳本并且執行重啟操作# 獲取tomcat進程ID(其中[grep -w .....]中的.....需要替換為實際部署的tomcat文件夾名,如下) TomcatID$(ps -ef |grep tomcat |grep -w /usr/local/tomcat/apache-tomcat-8.5.31|grep -v…

weblogic命令行操作

啟動和停止子節點: [rootoud bin]# cd /sotware/oracle_ldap/Middleware/user_projects/domains/base_domain/bin/ [rootoud bin]# ./startManagedWebLogic.sh Server-0 http://192.168.63.129:7001 -Dweblogic.management.usernameweblogic -Dweblogic.management…

Ansible系列--Copy模塊

copy模塊 copy模塊在ansible里的角色就是把ansible執行機器上的文件拷貝到遠程節點上。 與fetch模塊相反的操作 常用參數 參數名是否必須默認值選項說明srcno 用于定位ansible執行的機器上的文件,需要絕對路徑。如果拷貝的是文件夾,那么文件夾會整體…

ANSIBLE--handlers的概念

handlers可以理解成另一種tasks,handlers是另一種’任務列表’,handlers中的任務會被tasks中的任務進行”調用”,但是,被”調用”并不意味著一定會執行,只有當tasks中的任務”真正執行”以后(真正的進行實際…

ansible--- tags

tags可以幫助我們對任務進行’打標簽’的操作,當任務存在標簽以后,我們就可以在執行playbook時,借助標簽,指定執行哪些任務,或者指定不執行哪些任務。在實際的使用中,我們應該讓tags的值能夠見名知義。 當…

ANSIBLE---變量

注冊變量 ansible的模塊在運行之后,其實都會返回一些”返回值”,只是默認情況下,這些”返回值”并不會顯示而已,我們可以把這些返回值寫入到某個變量中,這樣我們就能夠通過引用對應的變量從而獲取到這些返回值了&…

inux中限制用戶進程CPU和內存占用率

#!/bin/sh PIDStop -bn 1 | grep "^ *[1-9]" | awk { if($9 > 50 || $10 > 25 && id -u $2 > 500) print $1} echo $PIDS for PID in $PIDS dorenice 10 $PIDecho "renice 10 $PID" done

按月拆分數據庫表--oracle

生產有一張日志表,數據量很大,需要按月進行存儲,存儲過程如下: CREATE OR REPLACE PROCEDURE NEWLOG4_SUB_TABLE IStable_name1 VARCHAR2(50);create_table_sql VARCHAR2(4000);insert_data_sql VARC…

plsql定時器

Oralce中的任務有2種:Job和Dbms_job,兩者的區別有: 1. jobs是oracle數據庫的對象, dbms_jobs只是jobs對象的一個實例, 就像對于tables, emp和dept都是表的實例。 2. 創建方式也有…

PL/SQL批處理語句:BULK COLLECT 和 FORALL

PL/SQL程序中運行SQL語句是存在開銷的,因為SQL語句是要提交給SQL引擎處理,這種在PL/SQL引擎和SQL引擎之間的控制轉移叫做上下文卻換,每次卻換時,都有額外的開銷 請看下圖: 但是,FORALL和BULK COLLEC…

oracle 中DATETIME與TIMESTAMP區別

1.DATETIME的日期范圍是1001——9999年,TIMESTAMP的時間范圍是1970——2038年。 2.DATETIME存儲時間與時區無關,TIMESTAMP存儲時間與時區有關,顯示的值也依賴于時區。在mysql服務器,操作系統以及客戶端連接都有時區的設置。 3.DAT…

PARALLEL(并行)

在Oracle中,PARALLEL(并行)方式最大化調用計算機資源來成倍提高數據分析效率。 1. 用途 強行啟用并行度來執行當前SQL。這個在Oracle 9i之后的版本可以使用,之前的版本現在沒有環境進行測試。也就是說,加…