【6.1.0 漫畫數據庫技術選型】

漫畫數據庫技術選型

🎯 學習目標：掌握架構師核心技能——數據庫技術選型，針對不同業務場景選擇最合適的數據庫方案

🏛? 第一章：關系型數據庫對比選型

🤔 MySQL vs PostgreSQL vs TiDB

想象數據庫就像不同類型的倉庫…

🏪 數據庫倉庫對比：MySQL (傳統超市)：
┌─────────────────┐
│ 🛒 簡單易用     │ ← 上手簡單，生態豐富
│ 💰 成本低廉     │ ← 開源免費，運維成本低
│ 🚀 讀性能優秀   │ ← InnoDB引擎優化好
│ ?? 寫入瓶頸     │ ← 單機寫入有限制
└─────────────────┘PostgreSQL (精品百貨)：
┌─────────────────┐
│ 🎯 功能豐富     │ ← 支持JSON、全文搜索
│ 🔒 ACID強保證   │ ← 事務支持最完善  
│ 📊 復雜查詢強   │ ← 支持窗口函數、CTE
│ 🐌 學習成本高   │ ← 配置相對復雜
└─────────────────┘TiDB (現代mall)：
┌─────────────────┐
│ 🌐 分布式架構   │ ← 天然支持水平擴展
│ ?? 強一致性     │ ← 分布式事務ACID
│ 🔧 MySQL兼容    │ ← 無縫遷移MySQL
│ 💸 成本較高     │ ← 需要多節點部署
└─────────────────┘

📊 關系型數據庫詳細對比

📊 三大關系型數據庫技術對比：┌─────────────┬─────────────┬─────────────┬─────────────┐
│    特性     │    MySQL    │ PostgreSQL  │    TiDB     │
├─────────────┼─────────────┼─────────────┼─────────────┤
│ 🏗? 架構模式 │   單機主從   │   單機主從   │  分布式集群  │
│ 📈 擴展能力 │   垂直擴展   │   垂直擴展   │  水平擴展    │
│ 💾 存儲引擎 │InnoDB/MyISAM│   單一引擎   │   TiKV      │
│ 🔒 事務支持 │   ACID      │  完整ACID   │ 分布式ACID   │
│ 📊 復雜查詢 │    一般      │     強      │     強      │
│ 🌐 分布式   │     否      │     否      │     是      │
│ 💰 使用成本 │     低      │    中等     │     高      │
│ 🛠? 運維難度 │     低      │    中等     │     高      │
│ 📚 生態支持 │    最豐富    │    豐富     │   發展中    │
│ 🎯 適用場景 │  中小型應用  │ 復雜業務系統 │ 大型分布式  │
└─────────────┴─────────────┴─────────────┴─────────────┘性能對比 (相對值)：
MySQL     ████████████████████  (單機讀寫性能)
PostgreSQL ███████████████       (復雜查詢性能)  
TiDB      █████████████████████  (分布式性能)學習成本：
MySQL     ████                  (最容易上手)
PostgreSQL ███████               (中等學習成本)
TiDB      ██████████            (需要分布式知識)

🎯 關系型數據庫選型決策樹

🎯 關系型數據庫選型流程：開始選型│┌────▼────┐│數據量大小│└────┬────┘│┌──────────────┼──────────────┐▼              ▼              ▼數據量<100GB    100GB-1TB     數據量>1TB│              │              │┌────▼────┐    ┌────▼────┐    ┌────▼────┐│ 業務復雜度│    │ 擴展需求 │    │ 必須分布式│└────┬────┘    └────┬────┘    └────┬────┘│              │              │┌────▼────┐    ┌────▼────┐         ▼│簡單CRUD │    │需要擴展  │      TiDB└────┬────┘    └────┬────┘      (大數據量)│              │▼              ▼MySQL        PostgreSQL(高性價比)      (復雜業務)選型建議：
🎯 初創公司/MVP項目 → MySQL
🎯 企業級應用/復雜業務 → PostgreSQL  
🎯 大型互聯網/金融級 → TiDB
🎯 需要強GIS支持 → PostgreSQL
🎯 需要分布式事務 → TiDB

📦 第二章：NoSQL數據庫選型

🍃 MongoDB vs Redis vs HBase

🍃 NoSQL數據庫倉庫對比：MongoDB (文檔倉庫)：
┌─────────────────┐
│ 📄 文檔存儲     │ ← JSON格式，schema靈活
│ 🔍 查詢豐富     │ ← 支持復雜查詢和索引
│ 🌐 分片集群     │ ← 內置分片支持
│ 🎯 適合內容管理 │ ← CMS、用戶畫像
└─────────────────┘Redis (高速緩存)：
┌─────────────────┐
│ ? 極速響應     │ ← 內存存儲，μs級延遲
│ 🔧 數據結構豐富 │ ← String/Hash/Set/ZSet
│ 📊 支持計算     │ ← Lua腳本、Stream
│ 💾 持久化選項   │ ← RDB/AOF持久化
└─────────────────┘HBase (大數據倉庫)：
┌─────────────────┐
│ 📈 海量數據     │ ← PB級數據存儲
│ 📊 列式存儲     │ ← 稀疏數據友好
│ 🔄 實時讀寫     │ ← 毫秒級隨機訪問
│ 🌐 Hadoop生態   │ ← 與大數據集成
└─────────────────┘

🔍 NoSQL數據庫詳細對比

🔍 NoSQL數據庫技術對比：┌─────────────┬─────────────┬─────────────┬─────────────┐
│    特性     │  MongoDB    │    Redis    │   HBase     │
├─────────────┼─────────────┼─────────────┼─────────────┤
│ 📊 數據模型 │   文檔型     │   鍵值型     │   列族型    │
│ 🚀 查詢語言 │  MongoDB QL │  命令接口    │   Java API  │
│ 🔍 查詢能力 │    豐富      │    簡單     │    簡單     │
│ 📈 擴展模式 │   分片集群   │   集群模式   │  Region分割  │
│ 💾 存儲介質 │   磁盤為主   │   內存為主   │   磁盤為主  │
│ ? 訪問速度 │    中等      │     快      │    中等     │
│ 📊 數據量   │     TB      │     GB      │     PB      │
│ 🔒 事務支持 │  4.0+支持   │    有限     │    行級     │
│ 🛠? 運維復雜度│    中等      │     低      │     高      │
│ 🎯 主要場景 │ 內容管理/IoT │ 緩存/會話   │ 大數據/日志 │
└─────────────┴─────────────┴─────────────┴─────────────┘性能特點：
延遲對比 (毫秒級)：
Redis     ■           (0.1ms)
MongoDB   ███         (1-10ms)  
HBase     ████        (1-20ms)吞吐量對比：
Redis     ████████████████  (10萬QPS+)
MongoDB   ████████          (1萬QPS+)
HBase     ██████████████    (5萬QPS+)

🎯 NoSQL選型決策矩陣

🎯 NoSQL數據庫選型矩陣：使用場景 vs 數據庫選擇：📊 緩存場景：
┌─────────────────┐
│ 會話存儲        │ → Redis (String)
│ 排行榜          │ → Redis (ZSet)  
│ 計數器          │ → Redis (Hash)
│ 分布式鎖        │ → Redis (Set)
│ 消息隊列        │ → Redis (Stream)
└─────────────────┘📄 文檔場景：
┌─────────────────┐
│ 內容管理系統    │ → MongoDB
│ 用戶畫像        │ → MongoDB
│ 商品目錄        │ → MongoDB  
│ 日志分析        │ → MongoDB (時序)
│ IoT數據存儲     │ → MongoDB
└─────────────────┘📈 大數據場景：
┌─────────────────┐
│ 用戶行為日志    │ → HBase
│ 時序數據存儲    │ → HBase/InfluxDB
│ 搜索索引        │ → Elasticsearch
│ 圖關系數據      │ → Neo4j
│ 地理位置數據    │ → PostGIS/MongoDB
└─────────────────┘

🏗? 第三章：數據庫架構模式選擇

🔧 單體 vs 分庫分表 vs 分布式

🔧 數據庫架構演進路徑：階段1: 單體數據庫 (0-100萬用戶)
┌─────────────────────────────────────┐
│              應用服務               │
│                 │                   │
│            ┌────▼────┐              │
│            │  MySQL  │              │
│            │ 單實例   │              │
│            └─────────┘              │
└─────────────────────────────────────┘
優點：簡單，事務一致性
缺點：性能瓶頸，單點故障階段2: 讀寫分離 (100萬-500萬用戶)  
┌─────────────────────────────────────┐
│              應用服務               │
│            讀     │    寫           │
│        ┌───▼───┐  │  ┌───▼───┐      │
│        │ Slave │  │  │Master │      │
│        │(只讀) │?─┼──│(讀寫) │      │
│        └───────┘  │  └───────┘      │
│        └───────────┼─────────────────┘
│               主從同步              │
└─────────────────────────────────────┘
優點：讀性能提升，高可用
缺點：寫入仍是瓶頸階段3: 分庫分表 (500萬-5000萬用戶)
┌─────────────────────────────────────┐
│             應用服務                │
│              分片路由               │
│    ┌─────────┬─────────┬─────────┐   │
│    ▼         ▼         ▼         │   │
│ ┌─────┐  ┌─────┐  ┌─────┐       │   │
│ │DB1  │  │DB2  │  │DB3  │       │   │
│ │分片1│  │分片2│  │分片3│       │   │
│ └─────┘  └─────┘  └─────┘       │   │
└─────────────────────────────────────┘
優點：線性擴展，性能提升
缺點：分布式事務復雜階段4: 分布式數據庫 (5000萬+用戶)
┌─────────────────────────────────────┐
│              應用服務               │
│                 │                   │
│            ┌────▼────┐              │
│            │  TiDB   │              │
│            │ 分布式   │              │
│            │ 集群     │              │
│            └─────────┘              │
└─────────────────────────────────────┘
優點：自動分片，強一致性
缺點：成本高，運維復雜

🎯 數據庫架構選型策略

🎯 基于業務特征的架構選型：業務類型 vs 推薦架構：📱 初創MVP項目：
┌─────────────────┐
│ 單體MySQL       │ ← 快速上線，成本低
│ + Redis緩存     │ ← 提升性能
│ + 云數據庫RDS   │ ← 減少運維
└─────────────────┘🛒 電商平臺：
┌─────────────────┐
│ MySQL主庫       │ ← 訂單、支付核心
│ + 讀寫分離      │ ← 商品瀏覽優化
│ + MongoDB       │ ← 商品目錄、評論
│ + Redis         │ ← 購物車、庫存
│ + ES搜索        │ ← 商品搜索
└─────────────────┘🏦 金融系統：
┌─────────────────┐
│ TiDB分布式      │ ← 交易數據強一致
│ + PostgreSQL    │ ← 風控分析
│ + Redis集群     │ ← 實時計算
│ + InfluxDB      │ ← 監控時序數據
└─────────────────┘📊 大數據平臺：
┌─────────────────┐
│ HBase          │ ← 海量日志存儲
│ + ClickHouse    │ ← OLAP分析
│ + Redis         │ ← 實時指標
│ + MySQL         │ ← 元數據管理
└─────────────────┘

?? 第四章：數據一致性與性能權衡

🔒 CAP理論實際應用

🔒 CAP理論在數據庫選擇中的應用：CAP三角形：Consistency (一致性)△╱ ╲╱   ╲╱     ╲╱   CP  ╲╱    區   ╲╱          ╲╱     MySQL  ╲╱   PostgreSQL ╲╱     TiDB      ╲╱                ╲
Availability ●────────● Partition Tolerance╱   AP區   ╲   (分區容錯)╱  MongoDB   ╲╱   Redis     ╲╱   Cassandra  ╲不同業務場景的選擇：💰 金融交易系統 (選擇CP)：
- 強一致性要求 > 可用性
- 推薦：TiDB、PostgreSQL
- 寧可暫停服務也不能數據錯誤📱 社交媒體平臺 (選擇AP)：  
- 可用性 > 強一致性
- 推薦：MongoDB、Cassandra
- 允許短期數據不一致🛒 電商系統 (混合策略)：
- 訂單系統：CP策略 (MySQL/TiDB)
- 商品瀏覽：AP策略 (MongoDB/Redis)
- 根據業務重要性分層選擇

📊 性能vs一致性權衡矩陣

📊 數據庫性能與一致性權衡：性能要求↑高性能│Redis      │   │   │ MemSQL(內存)      │   │   │ (內存分布式)│   │   │────────────────┼───┼───┼─────────────→│   │   │           一致性要求弱一致性       │   │   │         強一致性│   │   │MongoDB       │   │   │  PostgreSQL(最終一致)     │   │   │   (ACID)│   │   ││   │   │   TiDB│   │   │ (分布式ACID)│低性能選型建議：
🔴 高性能+弱一致性 → Redis/MongoDB
🟡 中等性能+強一致性 → MySQL/PostgreSQL  
🟢 低延遲+強一致性 → TiDB/CockroachDB
🔵 超高性能+無一致性要求 → 內存數據庫

🎯 第五章：業務場景選型實戰

🛒 電商系統數據庫架構

// 🛒 電商系統數據庫選型實戰/*** 電商系統多數據庫架構設計*/
@Configuration
public class ECommerceDataSourceConfig {// 1. 核心交易數據 - MySQL集群@Primary@Bean("primaryDataSource")public DataSource primaryDataSource() {// 主數據源：用戶、訂單、支付HikariConfig config = new HikariConfig();config.setJdbcUrl("jdbc:mysql://mysql-master:3306/ecommerce");config.setUsername("root");config.setPassword("password");config.setMaximumPoolSize(50);return new HikariDataSource(config);}// 2. 商品目錄 - MongoDB@Beanpublic MongoTemplate mongoTemplate() {return new MongoTemplate(MongoClients.create("mongodb://mongodb-cluster:27017"), "products");}// 3. 緩存層 - Redis集群@Beanpublic RedisTemplate<String, Object> redisTemplate() {RedisTemplate<String, Object> template = new RedisTemplate<>();template.setConnectionFactory(jedisConnectionFactory());return template;}// 4. 搜索引擎 - Elasticsearch@Beanpublic ElasticsearchTemplate elasticsearchTemplate() {return new ElasticsearchTemplate(client());}
}/*** 不同業務模塊的數據訪問策略*/
@Service
public class ECommerceDataService {@Autowiredprivate JdbcTemplate jdbcTemplate;        // MySQL - 核心業務@Autowired  private MongoTemplate mongoTemplate;      // MongoDB - 商品目錄@Autowiredprivate RedisTemplate redisTemplate;      // Redis - 緩存@Autowiredprivate ElasticsearchTemplate esTemplate; // ES - 搜索/*** 用戶信息管理 - MySQL (強一致性)*/public User getUserById(Long userId) {// 先查緩存User user = (User) redisTemplate.opsForValue().get("user:" + userId);if (user != null) {return user;}// 緩存未命中，查詢數據庫user = jdbcTemplate.queryForObject("SELECT * FROM users WHERE id = ?", new Object[]{userId}, User.class);// 寫入緩存，TTL 1小時redisTemplate.opsForValue().set("user:" + userId, user, 3600, TimeUnit.SECONDS);return user;}/*** 商品目錄管理 - MongoDB (文檔靈活性)*/public Product getProductDetail(String productId) {Query query = new Query(Criteria.where("id").is(productId));Product product = mongoTemplate.findOne(query, Product.class);// 商品瀏覽量計數 - RedisredisTemplate.opsForValue().increment("product:view:" + productId);return product;}/*** 商品搜索 - Elasticsearch (全文搜索)  */public List<Product> searchProducts(String keyword, int page, int size) {SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(multiMatchQuery(keyword, "name", "description", "tags")).withPageable(PageRequest.of(page, size)).build();return esTemplate.queryForList(searchQuery, Product.class);}/*** 購物車管理 - Redis (快速讀寫)*/public void addToCart(Long userId, String productId, int quantity) {String cartKey = "cart:" + userId;redisTemplate.opsForHash().put(cartKey, productId, quantity);redisTemplate.expire(cartKey, 7, TimeUnit.DAYS); // 7天過期}/*** 訂單創建 - MySQL事務 (ACID保證)*/@Transactionalpublic Order createOrder(Long userId, List<OrderItem> items) {// 1. 檢查庫存 - Redisfor (OrderItem item : items) {Long stock = redisTemplate.opsForValue().increment("stock:" + item.getProductId(), -item.getQuantity());if (stock < 0) {// 庫存不足，回滾RedisredisTemplate.opsForValue().increment("stock:" + item.getProductId(), item.getQuantity());throw new InsufficientStockException();}}// 2. 創建訂單 - MySQLOrder order = new Order(userId, items);jdbcTemplate.update("INSERT INTO orders (user_id, total_amount, status) VALUES (?, ?, ?)",order.getUserId(), order.getTotalAmount(), order.getStatus());// 3. 清空購物車 - RedisredisTemplate.delete("cart:" + userId);return order;}
}

🏦 金融系統數據庫架構

// 🏦 金融系統數據庫選型實戰/*** 金融系統多數據庫架構 - 強一致性優先*/
@Configuration
public class FinancialDataSourceConfig {// 1. 核心賬務數據 - TiDB分布式數據庫  @Primary@Bean("tidbDataSource")public DataSource tidbDataSource() {HikariConfig config = new HikariConfig();config.setJdbcUrl("jdbc:mysql://tidb-cluster:4000/financial");config.setDriverClassName("com.mysql.cj.jdbc.Driver");config.setMaximumPoolSize(100);config.setConnectionTimeout(30000);return new HikariDataSource(config);}// 2. 風控分析 - PostgreSQL (復雜查詢)@Bean("postgresDataSource")  public DataSource postgresDataSource() {HikariConfig config = new HikariConfig();config.setJdbcUrl("jdbc:postgresql://postgres-master:5432/risk_control");config.setMaximumPoolSize(50);return new HikariDataSource(config);}// 3. 實時計算 - Redis集群@Beanpublic RedisClusterConfiguration redisClusterConfig() {RedisClusterConfiguration config = new RedisClusterConfiguration();config.setClusterNodes(Arrays.asList(new RedisNode("redis-1", 6379),new RedisNode("redis-2", 6379),new RedisNode("redis-3", 6379)));return config;}// 4. 時序監控數據 - InfluxDB@Beanpublic InfluxDB influxDB() {return InfluxDBFactory.connect("http://influxdb:8086", "admin", "password");}
}/*** 金融業務數據訪問層*/
@Service
public class FinancialDataService {/*** 賬戶余額操作 - TiDB分布式事務*/@Transactionalpublic TransferResult transferMoney(String fromAccount, String toAccount, BigDecimal amount) {// 分布式事務保證ACID// 1. 檢查源賬戶余額BigDecimal fromBalance = tidbTemplate.queryForObject("SELECT balance FROM accounts WHERE account_no = ? FOR UPDATE",BigDecimal.class, fromAccount);if (fromBalance.compareTo(amount) < 0) {throw new InsufficientBalanceException("余額不足");}// 2. 扣減源賬戶int fromUpdate = tidbTemplate.update("UPDATE accounts SET balance = balance - ?, updated_at = NOW() WHERE account_no = ?",amount, fromAccount);// 3. 增加目標賬戶  int toUpdate = tidbTemplate.update("UPDATE accounts SET balance = balance + ?, updated_at = NOW() WHERE account_no = ?",amount, toAccount);// 4. 記錄交易流水tidbTemplate.update("INSERT INTO transactions (from_account, to_account, amount, type, status) VALUES (?, ?, ?, ?, ?)",fromAccount, toAccount, amount, "TRANSFER", "SUCCESS");// 5. 實時更新Redis計數器redisTemplate.opsForValue().increment("daily_transfer_count:" + fromAccount);return new TransferResult(true, "轉賬成功");}/*** 風控分析 - PostgreSQL復雜查詢*/public RiskAnalysisResult analyzeTransactionRisk(String accountNo, BigDecimal amount) {// 使用PostgreSQL的窗口函數進行復雜分析String sql = """WITH recent_transactions AS (SELECT amount,created_at,LAG(amount) OVER (ORDER BY created_at) as prev_amount,COUNT(*) OVER (ORDER BY created_at RANGE BETWEEN INTERVAL '1 hour' PRECEDING AND CURRENT ROW) as hour_countFROM transactions WHERE account_no = ? AND created_at >= NOW() - INTERVAL '24 hours')SELECT MAX(amount) as max_amount,AVG(amount) as avg_amount,MAX(hour_count) as max_hourly_count,COUNT(*) as daily_countFROM recent_transactions""";return postgresTemplate.queryForObject(sql, RiskAnalysisResult.class, accountNo);}/*** 實時風控檢查 - Redis計算*/public boolean checkRealTimeRisk(String accountNo, BigDecimal amount) {String dayKey = "risk:daily:" + accountNo + ":" + LocalDate.now();String hourKey = "risk:hourly:" + accountNo + ":" + LocalDateTime.now().getHour();// 檢查日累計限額BigDecimal dailyTotal = new BigDecimal(redisTemplate.opsForValue().get(dayKey, "0"));if (dailyTotal.add(amount).compareTo(DAILY_LIMIT) > 0) {return false; // 超過日限額}// 檢查小時交易頻次Long hourlyCount = redisTemplate.opsForValue().increment(hourKey);redisTemplate.expire(hourKey, 1, TimeUnit.HOURS);if (hourlyCount > HOURLY_FREQUENCY_LIMIT) {return false; // 超過頻次限制}return true;}/*** 系統監控指標 - InfluxDB時序存儲*/public void recordMetrics(String metric, double value, Map<String, String> tags) {Point point = Point.measurement(metric).time(System.currentTimeMillis(), TimeUnit.MILLISECONDS).addField("value", value).tag(tags).build();influxDB.write("financial_metrics", "autogen", point);}
}