基于Redis的3種分布式ID生成策略

在分布式系統設計中，全局唯一ID是一個基礎而關鍵的組件。隨著業務規模擴大和系統架構向微服務演進，傳統的單機自增ID已無法滿足需求。高并發、高可用的分布式ID生成方案成為構建可靠分布式系統的必要條件。

Redis具備高性能、原子操作及簡單易用的特性，因此我們可以基于Redis實現全局唯一ID的生成。

分布式ID的核心需求

一個優秀的分布式ID生成方案應滿足以下要求

  • 全局唯一性：在整個分布式系統中保證ID不重復
  • 高性能：能夠快速生成ID，支持高并發場景
  • 高可用：避免單點故障，確保服務持續可用
  • 趨勢遞增：生成的ID大致呈遞增趨勢，便于數據庫索引和分片
  • 安全性（可選） ：不包含敏感信息，不易被推測和偽造

1. 基于INCR命令的簡單自增ID

原理

這是最直接的Redis分布式ID實現方式，利用Redis的INCR命令原子性遞增一個計數器，確保在分布式環境下ID的唯一性。

代碼實現

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;@Component
public class RedisSimpleIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String ID_KEY;public RedisSimpleIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;this.ID_KEY = "distributed:id:generator";}/*** 生成下一個ID* @return 唯一ID*/public long nextId() {Long id = redisTemplate.opsForValue().increment(ID_KEY);if (id == null) {throw new RuntimeException("Failed to generate id");}return id;}/*** 為指定業務生成ID* @param bizTag 業務標簽* @return 唯一ID*/public long nextId(String bizTag) {String key = ID_KEY + ":" + bizTag;Long id = redisTemplate.opsForValue().increment(key);if (id == null) {throw new RuntimeException("Failed to generate id for " + bizTag);}return id;}/*** 獲取當前ID值但不遞增* @param bizTag 業務標簽* @return 當前ID值*/public long currentId(String bizTag) {String key = ID_KEY + ":" + bizTag;String value = redisTemplate.opsForValue().get(key);return value != null ? Long.parseLong(value) : 0;}
}

優缺點

優點

  • 實現極其簡單，僅需一次Redis操作
  • ID嚴格遞增，適合作為數據庫主鍵
  • 支持多業務ID隔離

缺點

  • Redis單點故障會導致ID生成服務不可用
  • 主從切換可能導致ID重復
  • 無法包含業務含義

適用場景

  • 中小規模系統的自增主鍵生成
  • 對ID連續性有要求的業務場景
  • 單數據中心部署的應用

2. 基于Lua腳本的批量ID生成

原理

通過Lua腳本一次性獲取一批ID，減少網絡往返次數，客戶端可在內存中順序分配ID，顯著提高性能。

代碼實現

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;import java.util.Collections;
import java.util.List;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;@Component
public class RedisBatchIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String ID_KEY = "distributed:batch:id";private final DefaultRedisScript<Long> batchIncrScript;// 批量獲取的大小private final int BATCH_SIZE = 1000;// 本地計數器和鎖private AtomicLong currentId = new AtomicLong(0);private AtomicLong endId = new AtomicLong(0);private final Lock lock = new ReentrantLock();public RedisBatchIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;// 創建Lua腳本String scriptText = "local key = KEYS[1] " +"local step = tonumber(ARGV[1]) " +"local currentValue = redis.call('incrby', key, step) " +"return currentValue";this.batchIncrScript = new DefaultRedisScript<>();this.batchIncrScript.setScriptText(scriptText);this.batchIncrScript.setResultType(Long.class);}/*** 獲取下一個ID*/public long nextId() {// 如果當前ID超過了分配范圍，則重新獲取一批if (currentId.get() >= endId.get()) {lock.lock();try {// 雙重檢查，防止多線程重復獲取if (currentId.get() >= endId.get()) {// 執行Lua腳本獲取一批IDLong newEndId = redisTemplate.execute(batchIncrScript, Collections.singletonList(ID_KEY),String.valueOf(BATCH_SIZE));if (newEndId == null) {throw new RuntimeException("Failed to generate batch ids");}// 設置新的ID范圍endId.set(newEndId);currentId.set(newEndId - BATCH_SIZE);}} finally {lock.unlock();}}// 分配下一個IDreturn currentId.incrementAndGet();}/*** 為指定業務生成ID*/public long nextId(String bizTag) {// 實際項目中應該為每個業務標簽維護獨立的計數器和范圍// 這里簡化處理，僅使用不同的Redis keyString key = ID_KEY + ":" + bizTag;Long newEndId = redisTemplate.execute(batchIncrScript, Collections.singletonList(key),String.valueOf(1));return newEndId != null ? newEndId : -1;}
}

優缺點

優點

  • 顯著減少Redis網絡請求次數
  • 客戶端緩存ID段，大幅提高性能
  • 降低Redis服務器壓力
  • 支持突發流量處理

缺點

  • 實現復雜度增加
  • 服務重啟可能導致ID段浪費

適用場景

  • 高并發系統，需要極高ID生成性能的場景
  • 對ID連續性要求不嚴格的業務
  • 能容忍小部分ID浪費的場景

3. 基于Redis的分段式ID分配（號段模式）

原理

號段模式是一種優化的批量ID生成方案，通過預分配號段（ID范圍）減少服務間競爭，同時引入雙Buffer機制提高可用性。

代碼實現

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;import java.util.Collections;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;@Component
public class RedisSegmentIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String SEGMENT_KEY = "distributed:segment:id";private final DefaultRedisScript<Long> segmentScript;// 號段大小private final int SEGMENT_STEP = 1000;// 加載因子，當前號段使用到這個百分比時就異步加載下一個號段private final double LOAD_FACTOR = 0.7;// 存儲業務號段信息的Mapprivate final Map<String, SegmentBuffer> businessSegmentMap = new ConcurrentHashMap<>();public RedisSegmentIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;// 創建Lua腳本String scriptText = "local key = KEYS[1] " +"local step = tonumber(ARGV[1]) " +"local value = redis.call('incrby', key, step) " +"return value";this.segmentScript = new DefaultRedisScript<>();this.segmentScript.setScriptText(scriptText);this.segmentScript.setResultType(Long.class);}/*** 獲取下一個ID* @param bizTag 業務標簽* @return 唯一ID*/public long nextId(String bizTag) {// 獲取或創建號段緩沖區SegmentBuffer buffer = businessSegmentMap.computeIfAbsent(bizTag, k -> new SegmentBuffer(bizTag));return buffer.nextId();}/*** 內部號段緩沖區類，實現雙Buffer機制*/private class SegmentBuffer {private String bizTag;private Segment[] segments = new Segment[2]; // 雙Bufferprivate volatile int currentPos = 0; // 當前使用的segment位置private Lock lock = new ReentrantLock();private volatile boolean isLoadingNext = false; // 是否正在異步加載下一個號段public SegmentBuffer(String bizTag) {this.bizTag = bizTag;segments[0] = new Segment(0, 0);segments[1] = new Segment(0, 0);}/*** 獲取下一個ID*/public long nextId() {// 獲取當前號段Segment segment = segments[currentPos];// 如果當前號段為空或已用完，切換到另一個號段if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {lock.lock();try {// 雙重檢查當前號段狀態segment = segments[currentPos];if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {// 切換到另一個號段currentPos = (currentPos + 1) % 2;segment = segments[currentPos];// 如果另一個號段也未初始化或已用完，則同步加載if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {loadSegmentFromRedis(segment);}}} finally {lock.unlock();}}// 檢查是否需要異步加載下一個號段long value = segment.incrementAndGet();if (value > segment.getMin() + (segment.getMax() - segment.getMin()) * LOAD_FACTOR&& !isLoadingNext) {isLoadingNext = true;// 異步加載下一個號段new Thread(() -> {Segment nextSegment = segments[(currentPos + 1) % 2];loadSegmentFromRedis(nextSegment);isLoadingNext = false;}).start();}return value;}/*** 從Redis加載號段*/private void loadSegmentFromRedis(Segment segment) {String key = SEGMENT_KEY + ":" + bizTag;// 執行Lua腳本獲取號段最大值Long max = redisTemplate.execute(segmentScript, Collections.singletonList(key),String.valueOf(SEGMENT_STEP));if (max == null) {throw new RuntimeException("Failed to load segment from Redis");}// 設置號段范圍long min = max - SEGMENT_STEP + 1;segment.setMax(max);segment.setMin(min);segment.setValue(min - 1); // 設置為min-1，第一次incrementAndGet返回minsegment.setInitialized(true);}}/*** 內部號段類，存儲號段的范圍信息*/private class Segment {private long min; // 最小值private long max; // 最大值private AtomicLong value; // 當前值private volatile boolean initialized; // 是否已初始化public Segment(long min, long max) {this.min = min;this.max = max;this.value = new AtomicLong(min);this.initialized = false;}public long getValue() {return value.get();}public void setValue(long value) {this.value.set(value);}public long incrementAndGet() {return value.incrementAndGet();}public long getMin() {return min;}public void setMin(long min) {this.min = min;}public long getMax() {return max;}public void setMax(long max) {this.max = max;}public boolean isInitialized() {return initialized;}public void setInitialized(boolean initialized) {this.initialized = initialized;}}
}

優缺點

優點

  • 雙Buffer設計，高可用性
  • 異步加載下一個號段，性能更高
  • 大幅降低Redis訪問頻率
  • 即使Redis短暫不可用，仍可分配一段時間的ID

缺點

  • 實現復雜，代碼量大
  • 多實例部署時，各實例獲取的號段不連續
  • 重啟服務時號段內的ID可能浪費
  • 需要在內存中維護狀態

適用場景

  • 對ID生成可用性要求高的業務
  • 需要高性能且多服務器部署的分布式系統

4. 性能對比與選型建議

策略性能可用性ID長度實現復雜度單調遞增
INCR命令★★★☆☆★★☆☆☆遞增整數低嚴格遞增
Lua批量生成★★★★★★★★☆☆遞增整數中批次內遞增
分段式ID★★★★★★★★★☆遞增整數高段內遞增

5. 實踐優化技巧

1. Redis高可用配置

// 配置Redis哨兵模式，提高可用性
@Bean
public RedisConnectionFactory redisConnectionFactory() {RedisSentinelConfiguration sentinelConfig = new RedisSentinelConfiguration().master("mymaster").sentinel("127.0.0.1", 26379).sentinel("127.0.0.1", 26380).sentinel("127.0.0.1", 26381);return new LettuceConnectionFactory(sentinelConfig);
}

2. ID預熱策略

// 系統啟動時預熱ID生成器
@PostConstruct
public void preWarmIdGenerator() {// 預先獲取一批ID，確保系統啟動后立即可用for (int i = 0; i < 10; i++) {try {segmentIdGenerator.nextId("order");segmentIdGenerator.nextId("user");segmentIdGenerator.nextId("payment");} catch (Exception e) {log.error("Failed to pre-warm ID generator", e);}}
}

3. 降級策略

// Redis不可用時的降級策略
public long nextIdWithFallback(String bizTag) {try {return segmentIdGenerator.nextId(bizTag);} catch (Exception e) {log.warn("Failed to get ID from Redis, using local fallback", e);// 使用本地UUID或其他替代方案return Math.abs(UUID.randomUUID().getMostSignificantBits());}
}

6. 結論

選擇合適的分布式ID生成策略時，需要綜合考慮系統規模、性能需求、可靠性要求和實現復雜度。無論選擇哪種方案，都應注重高可用性設計，增加監控和預警機制，確保ID生成服務的穩定運行。

在實踐中，可以基于業務需求對這些方案進行組合和優化，例如為不同業務選擇不同策略，或者在ID中嵌入業務標識等，打造更適合自身系統的分布式ID生成解決方案。

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/diannao/79700.shtml
繁體地址，請注明出處：http://hk.pswp.cn/diannao/79700.shtml
英文地址，請注明出處：http://en.pswp.cn/diannao/79700.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Spotlight on Mysql詳細介紹

Spotlight on Mysql詳細介紹

1. 版本............................................................................................................................................1 2. 使用介紹...............................................................................................…
閱讀更多...
背包 DP 詳解

背包 DP 詳解

文章目錄 背包DP01 背包完全背包多重背包二進制優化單調隊列優化 小結 背包DP 背包 DP&#xff0c;說白了就是往一個背包里扔東西&#xff0c;求最后的最大價值是多少&#xff0c;一般分為了三種&#xff1a;01 背包、完全背包和多重背包。而 01 背包則是一切的基礎。 01 背包…
閱讀更多...
二級評論列表-Java實現

二級評論列表-Java實現

二級評論列表是很常見的功能&#xff0c;文章記錄了新手用Java實現的具體邏輯。 整體實現邏輯是先用2個sql&#xff0c;分別查出兩層數據。然后用java在service中實現數據組裝&#xff0c;返給前端。這種實現思路好處是SQL簡潔&#xff0c;邏輯分明&#xff0c;便于維護。 一…
閱讀更多...
快速入手-基于python和opencv的人臉檢測

快速入手-基于python和opencv的人臉檢測

1、安裝庫 pip install opencv-python 如果下載比較卡的話&#xff0c;指向國內下載地址&#xff1a; pip3 install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple 2、下載源碼 https://opencv.org/ windows11對應的版本下載&#xff1a; https://pan.baidu…
閱讀更多...
GitLab本地安裝指南

GitLab本地安裝指南

當前GitLab的最新版是v17.10&#xff0c;安裝地址&#xff1a;https://about.gitlab.com/install/。當然國內也可以安裝極狐GitLab版本&#xff0c;極狐GitLab 是 GitLab 中國發行版&#xff08;JH&#xff09;。極狐GitLab支持龍蜥&#xff0c;歐拉等國內的操作系統平臺。安裝…
閱讀更多...
OpenCv高階（六）——圖像的透視變換

OpenCv高階（六）——圖像的透視變換

目錄 一、透視變換的定義與作用 二、透視變換的過程 三、OpenCV 中的透視變換函數 1. cv2.getPerspectiveTransform(src, dst) 2. cv2.warpPerspective(src, H, dsize, dstNone, flagscv2.INTER_LINEAR, borderModecv2.BORDER_CONSTANT, borderValue0) 四、文檔掃描校正&a…
閱讀更多...
資源-又在網上淘到金了

資源-又在網上淘到金了

前言&#xff1a; 本期再分享網上沖浪發現的特效/動畫/視頻資源網站。 一、基本介紹&#xff1a; mantissa.xyz&#xff0c;about作者介紹為&#xff1a;Midge “Mantissa” Sinnaeve &#xff08;米奇辛納夫&#xff09;是一位屢獲殊榮的藝術家和導演&#xff0c;提供動畫、…
閱讀更多...
Linux疑難雜惑 | 云服務器重裝系統后vscode無法遠程連接的問題

Linux疑難雜惑 | 云服務器重裝系統后vscode無法遠程連接的問題

報錯原因&#xff1a;本地的known_hosts文件記錄服務器信息與現服務器的信息沖突了&#xff0c;導致連接失敗。 解決方法&#xff1a;找到本地的known_hosts文件&#xff0c;把里面的所有東西刪除后保存就好了。 該文件的路徑可以在報錯中尋找&#xff1a;比如我的路徑就是&a…
閱讀更多...
FFMPEG-視頻解碼-支持rtsp|rtmp|音視頻文件（低延遲）

FFMPEG-視頻解碼-支持rtsp|rtmp|音視頻文件（低延遲）

本人親測解碼顯示對比延遲達到7到20毫秒之間浮動兼容播放音視頻文件、拉流RTSP、RTMP等網絡流 基于 Qt 和 FFmpeg 的視頻解碼播放器類，繼承自 QThread，實現了視頻流的解碼、播放控制、幀同步和錯誤恢復等功能 工作流程初始化階段: 用戶設置URL和顯示尺寸 調用play()啟動線程解…
閱讀更多...
【音視頻】音視頻FLV合成實戰

【音視頻】音視頻FLV合成實戰

FFmpeg合成流程 示例本程序會?成?個合成的?頻和視頻流&#xff0c;并將它們編碼和封裝輸出到輸出?件&#xff0c;輸出格式是根據?件擴展名?動猜測的。 示例的流程圖如下所示。 ffmpeg 的 Mux 主要分為 三步操作&#xff1a; avformat_write_header &#xff1a; 寫?件…
閱讀更多...
全鏈路開源數據平臺技術選型指南：六大實戰工具鏈解析

全鏈路開源數據平臺技術選型指南：六大實戰工具鏈解析

在數字化轉型加速的背景下&#xff0c;開源技術正重塑數據平臺的技術格局。本文深度解析數據平臺的全鏈路架構&#xff0c;精選六款兼具創新性與實用性的開源工具&#xff0c;涵蓋數據編排、治理、實時計算、聯邦查詢等核心場景&#xff0c;為企業構建云原生數據架構提供可落地…
閱讀更多...
JAVA設計模式——（1）適配器模式

JAVA設計模式——（1）適配器模式

JAVA設計模式——&#xff08;1&#xff09;適配器模式 目的理解實現優勢 目的 將一個類的接口變換成客戶端所期待的另一種接口&#xff0c;從而使原本因接口不匹配而無法一起工作的兩個類能夠在一起工作。 理解 可以想象成一個國標的插頭&#xff0c;結果插座是德標的&…
閱讀更多...
Qt C++ 解析和處理 XML 文件示例

Qt C++ 解析和處理 XML 文件示例

使用 Qt C 解析和處理 XML 文件 以下是使用 Qt C 實現 XML 文件處理的幾種方法&#xff0c;包括解析、創建和修改 XML 文件。 1. 使用 QXmlStreamReader (推薦方式) #include <QFile> #include <QXmlStreamReader> #include <QDebug>void parseXmlWithStr…
閱讀更多...
坐標上海，20~40K的面試強度

坐標上海，20~40K的面試強度

繼續分享最新的面經&#xff0c;面試的崗位是上海某公司的Golang開發崗&#xff0c;給的薪資范圍是20~40K&#xff0c;對mongodb要求熟練掌握&#xff0c;所以面試過程中對于mongodb也問的比較多。 下面是我整理好的面經&#xff08;去除了項目相關的問題&#xff09;&#xf…
閱讀更多...
B端管理系統：企業運營的智慧大腦，精準指揮

B端管理系統：企業運營的智慧大腦，精準指揮

B端管理系統的定義與核心功能 B端管理系統&#xff08;Business Management System&#xff09;是專門設計用于支持企業內部運作和外部業務交互的一套軟件工具。它集成了多種功能模塊&#xff0c;包括但不限于客戶關系管理(CRM)、供應鏈管理(SCM)、人力資源管理(HRM)以及財務管…
閱讀更多...
IDE中使用Spring Data Redis

IDE中使用Spring Data Redis

步驟一&#xff1a;導入Spring Data Redis的maven坐標 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency> 步驟二&#xff1a;配置Redis數據源 步驟三&…
閱讀更多...
ARINC818協議的幀格式

ARINC818協議的幀格式

SOFi:sof initiale;這個是第一個ADVB幀的SOF開始&#xff0c;一幀只有一個SOFi。 SOFn:sof normal;這個是非首個ADVB幀的SOF頭的normal頭。 Vsync為場同步&#xff0c;兩個SOFi之間為Vsync信號&#xff0c;也就是一幀&#xff0c;也就是VS信號。 Hsync為行同步&#xff0c;如果…
閱讀更多...
Git核心命令

Git核心命令

Git核心命令完全指南&#xff1a;從入門到高效協作 前言 在軟件開發領域&#xff0c;Git已成為現代版本控制的代名詞。據統計&#xff0c;全球超過90%的開發團隊使用Git進行代碼管理。然而&#xff0c;許多開發者僅停留在基礎命令的機械使用層面&#xff0c;未能真正掌握Git命…
閱讀更多...
【計算機視覺】CV實戰項目- Face-and-Emotion-Recognition 人臉情緒識別

【計算機視覺】CV實戰項目- Face-and-Emotion-Recognition 人臉情緒識別

Face-and-Emotion-Recognition 項目詳細介紹 項目概述項目功能項目目錄結構項目運行方式1. 環境準備2. 數據準備3. 模型訓練4. 模型運行 常見問題及解決方法1. **安裝依賴問題**2. **數據集問題**3. **模型訓練問題**4. **模型運行問題** 項目實戰建議項目參考文獻 項目概述 F…
閱讀更多...
java lambda

java lambda

案例1 lambda表達式看做成一個函數對象 方法引用 1.Math是類型&#xff0c;max是靜態方法 2.Student是對象&#xff0c;getName是非靜態方法 3.對象&#xff1a;&#xff1a;非靜態方法 4.類型&#xff1a;&#xff1a;new關鍵字 練習1 假設已有對象 常見函數接口 predicate…
閱讀更多...
最新文章

Copyright @ 2022~2023