一. MinIO 簡介

1. 什么是MinIO？

MinlO是一個基于Apache License v2.0開源協議的對象存儲服務。它兼容亞馬遜S3云存儲服務接口，非常適合于存儲大容量非結構化的數據。例如圖片、視頻、日志文件、備份數據和容器/虛擬機鏡像等,而一個對象文件可以是任意大小,從幾kb到最大5T不等。

MinlO是一個非常輕量的服務 可以很簡單的和其他應用的結合，類似NodeJS, Redis或者MySQL。

MInIO官網

• 核心特性：
  • 支持海量非結構化數據（圖片、視頻、日志等）支持單個對象最大5TB。
  • 輕量級（二進制文件僅數十MB）。
  • 支持單機部署和分布式集群。
  • 提供數據加密、版本控制、生命周期管理等企業級功能。

2. 應用場景

• 云原生存儲（Kubernetes 集成）。
• 大數據存儲（與 Hadoop、Spark 對接）。
• 多媒體資源存儲與加速。

---

二. 文件系統存儲發展史

1. 服務器磁盤（本地存儲）

定義

• 直接掛載在服務器上的物理或虛擬磁盤（如 SSD、HDD），通過文件系統（如 ext4、NTFS）管理數據。

優點

• 低延遲：數據直接讀寫，無需網絡開銷。
• 高性能：適合頻繁讀寫、小文件操作（如數據庫事務）。
• 簡單易用：無需復雜配置，開箱即用。

缺點

• 單點故障：硬盤損壞可能導致數據丟失。
• 擴展性差：受限于單機容量，無法橫向擴展。
• 資源共享困難：數據無法跨服務器直接訪問。

適用場景

• 單機應用（如小型網站、個人博客）。
• 高性能需求場景（如實時數據庫、緩存服務）。
• 臨時文件存儲（如日志、臨時緩存）。

---

2. 分布式文件系統(如 HDFS、Ceph、GlusterFS)

定義

• 通過網絡將多臺服務器的存儲資源整合為統一命名空間，提供文件存儲和共享能力（如 HDFS、Ceph、GlusterFS）。
• 它使文件可以跨越多個服務器或存儲設備存儲和訪問。DFS 通過網絡將多個存儲資源組合成一個統一的文件系統，使用戶和應用程序可以像訪問本地文件一樣透明地訪問遠程文件。

優點

• 橫向擴展：可動態添加節點，支持 PB 級存儲。
• 高可用性：數據多副本或糾刪碼冗余，容忍節點故障。
• 共享訪問：多客戶端可同時讀寫同一文件系統。

缺點

• 復雜度高：需管理元數據、數據分布和一致性。
• 性能瓶頸：元數據操作（如 HDFS 的 NameNode）可能成為瓶頸。
• 成本較高：需維護多節點集群，硬件和運維成本上升。

適用場景

• 大數據處理（如 Hadoop 生態、日志分析）。
• 需要共享存儲的場景（如 Kubernetes 動態卷、虛擬機鏡像存儲）。
• 高吞吐需求（如視頻流媒體、科學計算）。

---

3. 對象存儲（如 MinIO、AWS S3）

定義

• 以對象（Object）為基本單元的存儲系統，每個對象包含數據、元數據和唯一標識符（如 S3 的 Key），通過 RESTful API 訪問。

優點

• 海量擴展：支持百億級對象存儲，自動管理數據分布。
• 高可用與持久性：數據跨多節點冗余（如 MinIO 的糾刪碼）。
• 云原生集成：兼容 S3 API，無縫對接云服務和工具鏈。
• 成本效益：按需付費，支持冷熱數據分層存儲。

缺點

• 高延遲：基于 HTTP 協議，不適合實時讀寫。
• 弱一致性：部分系統存在最終一致性（如 S3 的跨區域復制）。
• 文件系統語義缺失：不支持隨機寫入、追加操作。

適用場景

• 非結構化數據存儲（如圖片、視頻、文檔）。
• 云原生應用（如 Kubernetes 靜態資源托管）。
• 大數據與 AI 數據湖（如 Spark 讀取 Parquet 文件）。
• 備份與歸檔（如日志存儲、合規性歸檔）。

---

4.對比總結

特性	服務器磁盤	分布式文件系統	對象存儲
數據模型	層級文件系統	層級文件系統	平坦對象（Bucket/Object）
擴展性	有限（單機）	橫向擴展（多節點）	海量擴展（自動管理）
訪問協議	本地文件系統 API	NFS/CIFS 或專用協議	RESTful API（S3 兼容）
延遲	極低	中等（受網絡影響）	較高（HTTP 開銷）
適用數據	結構化、小文件	大文件、流式數據	非結構化、海量數據
維護成本	低	高（需管理集群）	中等（云服務免運維）

---

5.選型建議

1. 優先選擇對象存儲：

   • 云原生應用或需要彈性擴展的場景。
   • 存儲海量非結構化數據（如用戶上傳文件）。
   • 需要跨地域數據同步或版本控制。

2. 選擇分布式文件系統：

   • 大數據處理（如 HDFS 與 MapReduce 結合）。
   • 需要共享文件系統語義（如多個 VM 掛載同一目錄）。

3. 保留本地存儲：

   • 對延遲敏感的應用（如實時數據庫）。
   • 小規模或臨時性存儲需求。

---

6.示例方案

• 混合方案：

  • 使用本地存儲處理熱數據（如 Redis 緩存），對象存儲存放冷數據（如歷史日志）。
  • 分布式文件系統（如 Ceph）作為底層存儲，提供塊存儲、文件存儲和對象存儲統一接口。

• 云原生方案：

  • Kubernetes 中使用 MinIO 作為持久化存儲后端，結合 S3 API 實現無狀態應用的數據持久化。

通過合理選擇存儲方案，可顯著提升系統性能、降低成本并保障數據可靠性。

特性	傳統分布式文件系統	MinIO
數據模型	層級目錄結構	平坦命名空間（Bucket/Object）
接口	專用協議（如 NFS）	S3 兼容 REST API
擴展性	需手動配置	自動數據分布與負載均衡
適用場景	通用存儲	云原生、大數據、AI 數據湖

---

三.MinIO基礎概念

MinIO的基礎概念

● Object: 存儲到Minio的基本對象，如文件、字節流，Anything…

● Bucket:用來存儲Object的邏輯空間。每個Bucket之間的數據是相互隔離的。對于客戶端而言,就相當于一個存放文件的頂層文件夾。

● Drive: 即存儲數據的磁盤，在MinIO啟動時，以參數的方式傳入。Minio 中所有的對象數據都會存儲在Drive里。

● Set:即一組Drive的集合，分布式部署根據集群規模自動劃分一 個或多個Set, 每個Set中的Drive分布在不同位置。一個對象存儲在一個Set 上。(For example: {1…44} is divided into 4 sets each of size 16.)

● 一個對象存儲在一 個Set上● 一個集群劃分為多個Set● 一個Set包含的Drive數顯是固定的，默認由系統根據集群規模自動計算得出● 一個SET中的Drive盡可能分布在不同的節點上

MinIO 糾刪碼 EC (Erasure Code)

糾刪碼（Erasure Code, EC） 是一種數據保護方法，它將數據分割成片段，生成冗余數據塊，并將這些數據塊存儲在不同的位置，如磁盤、存儲節點或其他地理位置。MinIO 采用 Reed-Solomon 糾刪碼實現，將對象拆分成數據塊和奇偶校驗塊，以提高數據的冗余性和可用性。

簡單來說就是可以通過數學計算，把丟失的數據進行還原，它可以將n份原始數據，增加m份數據，并能通過n+m份中的任意n份數據，還原為原始數據。
即如果有任意小于等于m份的數據失效，仍然能通過剩下的數據還原出來。

舉個最簡單例子就是有兩個數據(d1, d2)，用一個校驗和y（d1 + d2 = y）即可保證即使丟失其中一個，依然可以還原數據。如丟失 d1 ，則使用 y - d2 = d1 還原，同理，d2 丟失或者y丟失，均可通過計算得出。

三. MinIO 安裝指南

1 單機部署

# 下載并運行（Linux/macOS）
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
./minio server /data --console-address :9001

• 訪問管理界面：http://localhost:9001

2 分布式集群部署

# 啟動4節點集群（假設4臺服務器IP為192.168.1.101-104）
minio server http://192.168.1.10{1...4}/data

• 自動數據冗余：采用糾刪碼（Erasure Code）保障數據可靠性。

3 Docker 部署

docker run -p 9000:9000 -p 9001:9001 \-v /data:/data \-e "MINIO_ROOT_USER=admin" \-e "MINIO_ROOT_PASSWORD=password" \minio/minio server /data --console-address :9001

---

四. MinIO 基礎使用

1. 基礎命令

1.1 安裝與配置

• 安裝 mc：

  wget https://dl.min.io/client/mc/release/linux-amd64/mc
  chmod +x mc
  sudo mv mc /usr/local/bin/
  

• 設置別名（連接 MinIO 服務）：

  mc alias set <ALIAS> <ENDPOINT> <ACCESS_KEY> <SECRET_KEY>
  

  • 示例：

    mc alias set myminio http://localhost:9000 admin password
    

• 查看別名列表：

  mc alias list
  

---

2. 存儲桶管理

2.1 創建存儲桶

mc mb <ALIAS>/<BUCKET_NAME>

• 示例：

  mc mb myminio/mybucket
  

2.2 刪除存儲桶

mc rb <ALIAS>/<BUCKET_NAME>

• 示例：

  mc rb myminio/mybucket
  

2.3 列出存儲桶

mc ls <ALIAS>

• 示例：

  mc ls myminio
  

2.4 查看存儲桶策略

mc policy get <ALIAS>/<BUCKET_NAME>

• 示例：

  mc policy get myminio/mybucket
  

2.5 設置存儲桶策略

mc policy set <POLICY> <ALIAS>/<BUCKET_NAME>

• 策略選項：none（私有）、download（只讀）、upload（上傳）、public（公開）。

• 示例：

  mc policy set public myminio/mybucket
  

---

3. 對象管理

3.1 上傳文件

mc cp <SOURCE_FILE> <ALIAS>/<BUCKET_NAME>/<TARGET_PATH>

• 示例：

  mc cp myfile.txt myminio/mybucket/
  

3.2 下載文件

mc cp <ALIAS>/<BUCKET_NAME>/<OBJECT_PATH> <DESTINATION>

• 示例：

  mc cp myminio/mybucket/myfile.txt ./downloaded_file.txt
  

3.3 列出對象

mc ls <ALIAS>/<BUCKET_NAME>

• 示例：

  mc ls myminio/mybucket
  

3.4 刪除對象

mc rm <ALIAS>/<BUCKET_NAME>/<OBJECT_PATH>

• 示例：

  mc rm myminio/mybucket/myfile.txt
  

3.5 批量刪除對象

mc rm --recursive --force <ALIAS>/<BUCKET_NAME>/<PREFIX>

• 示例：

  mc rm --recursive --force myminio/mybucket/old_data/
  

---

4. 高級功能

4.1 同步數據

• 本地到遠程同步：

  mc mirror <LOCAL_DIR> <ALIAS>/<BUCKET_NAME>
  

  • 示例：

    mc mirror ./local_data/ myminio/mybucket/
    

• 遠程到本地同步：

  mc mirror <ALIAS>/<BUCKET_NAME> <LOCAL_DIR>
  

4.2 數據遷移

• 從其他 S3 兼容存儲遷移到 MinIO：

  mc mirror s3-source/ myminio/mybucket/
  

4.3 設置生命周期規則

mc ilm add <ALIAS>/<BUCKET_NAME> --expiry-days <DAYS>

• 示例：

  mc ilm add myminio/mybucket --expiry-days 30
  

4.4 查看服務器信息

mc admin info <ALIAS>

• 示例：

  mc admin info myminio
  

4.5 用戶管理

• 添加用戶：

  mc admin user add <ALIAS> <ACCESS_KEY> <SECRET_KEY>
  

  • 示例：

    mc admin user add myminio newuser newpassword
    

• 刪除用戶：

  mc admin user remove <ALIAS> <ACCESS_KEY>
  

4.6 策略管理

• 創建策略：

  mc admin policy create <ALIAS> <POLICY_NAME> <POLICY_FILE>
  

  • 示例：

    mc admin policy create myminio readonly-policy policy.json
    

• 綁定策略到用戶：

  mc admin policy attach <ALIAS> <POLICY_NAME> --user=<USER>
  

---

5. 常用快捷命令

功能	命令
查看幫助	mc --help
查看某個命令的幫助	mc <COMMAND> --help
檢查配置是否正確	mc alias test <ALIAS>
清空存儲桶	mc rb --force <ALIAS>/<BUCKET_NAME>
查看存儲桶占用空間	mc du <ALIAS>/<BUCKET_NAME>

---

五. Spring Boot 集成 MinIO

1 添加依賴

<dependency><groupId>io.minio</groupId><artifactId>minio</artifactId><version>8.5.2</version>
</dependency>

2.在SpringBoot的配置文件中編寫 MinIO 的配置：

minio:url: http://127.0.0.1:9005 #ip地址accessKey: admin #  賬號secretKey: admin962464 #  密碼secure: false #如果是true，則用的是https而不是http,默認值是truebucketName: "test"  # 桶的名字 相當于文件夾

3.編寫 MinIO 配置類

import io.minio.MinioClient;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioConfig {/*** 服務地址*/private String url;/*** 用戶名*/private String accessKey;/*** 密碼*/private String secretKey;/*** 存儲桶名稱*/private String bucketName;@Beanpublic MinioClient getMinioClient() {return MinioClient.builder().endpoint(url).credentials(accessKey, secretKey).build();}
}

4.編寫 MinIO 的工具類

import com.jjy.shopping_file_service.config.MinioConfig;
import io.minio.*;
import io.minio.http.Method;
import io.minio.messages.Bucket;
import io.minio.messages.Item;
import lombok.AllArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.stereotype.Component;
import org.springframework.util.FastByteArrayOutputStream;
import org.springframework.util.StringUtils;
import org.springframework.web.multipart.MultipartFile;import javax.annotation.Resource;
import javax.servlet.ServletOutputStream;
import javax.servlet.http.HttpServletResponse;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.UUID;@Slf4j
@Component
public class MinIOUtil {@Resourceprivate MinioConfig minioConfig;@Resourceprivate MinioClient minioClient;/*** 查看存儲bucket是否存在** @param bucketName 存儲桶名稱* @return boolean*/public Boolean bucketExists(String bucketName) {Boolean found;try {found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return found;}/*** 創建存儲bucket** @param bucketName 存儲桶名稱* @return Boolean*/public Boolean makeBucket(String bucketName) {try {minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return true;}/*** 刪除存儲bucket** @param bucketName 存儲桶名稱* @return Boolean*/public Boolean removeBucket(String bucketName) {try {minioClient.removeBucket(RemoveBucketArgs.builder().bucket(bucketName).build());} catch (Exception e) {e.printStackTrace();return false;}return true;}/*** 獲取全部bucket** @return 存儲桶列表*/public List<Bucket> getAllBuckets() {try {return minioClient.listBuckets();} catch (Exception e) {e.printStackTrace();}return null;}/*** 文件上傳** @param file 文件* @return 文件對象名稱*/public String upload(MultipartFile file) {String originalFilename = file.getOriginalFilename();System.out.println(originalFilename);if (!StringUtils.hasText(originalFilename)) {throw new RuntimeException();}String fileName = UUID.randomUUID() + originalFilename.substring(originalFilename.lastIndexOf("."));String prefix = new SimpleDateFormat("yyyy/MM/dd").format(new Date());String objectName = prefix + "/" + fileName;try {PutObjectArgs objectArgs = PutObjectArgs.builder().bucket(minioConfig.getBucketName()).object(objectName).stream(file.getInputStream(), file.getSize(), -1).contentType(file.getContentType()).build();// 文件名稱相同會覆蓋minioClient.putObject(objectArgs);} catch (Exception e) {e.printStackTrace();return null;}return objectName;}/*** 預覽圖片** @param fileName 文件名稱* @return 文件預覽鏈接*/public String preview(String fileName) {// 查看文件地址GetPresignedObjectUrlArgs build = GetPresignedObjectUrlArgs.builder().bucket(minioConfig.getBucketName()).object(fileName).method(Method.GET).build();try {String url = minioClient.getPresignedObjectUrl(build);return url;} catch (Exception e) {e.printStackTrace();}return null;}/*** 文件下載** @param fileName 文件名稱* @param res      response*/public void download(String fileName, HttpServletResponse res) {GetObjectArgs objectArgs = GetObjectArgs.builder().bucket(minioConfig.getBucketName()).object(fileName).build();try (GetObjectResponse response = minioClient.getObject(objectArgs)) {byte[] buf = new byte[1024];int len;try (FastByteArrayOutputStream os = new FastByteArrayOutputStream()) {while ((len = response.read(buf)) != -1) {os.write(buf, 0, len);}os.flush();byte[] bytes = os.toByteArray();res.setCharacterEncoding("utf-8");res.addHeader("Content-Disposition", "attachment;fileName=" + fileName);try (ServletOutputStream stream = res.getOutputStream()) {stream.write(bytes);stream.flush();}}} catch (Exception e) {e.printStackTrace();}}/*** 查看文件對象** @return 存儲bucket內文件對象信息*/public List<Item> listObjects() {Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(minioConfig.getBucketName()).build());List<Item> items = new ArrayList<>();try {for (Result<Item> result : results) {items.add(result.get());}} catch (Exception e) {e.printStackTrace();return null;}return items;}/*** 刪除** @param fileName 文件名稱* @return 是否刪除成功*/public boolean remove(String fileName) {try {minioClient.removeObject(RemoveObjectArgs.builder().bucket(minioConfig.getBucketName()).object(fileName).build());} catch (Exception e) {return false;}return true;}}

5.業務測試

import com.cyw.miniodemo.config.MinioConfig;
import com.cyw.miniodemo.pojo.Rst;
import com.cyw.miniodemo.service.FileUploadService;
import com.cyw.miniodemo.utils.MinIOUtil;
import lombok.AllArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.bind.annotation.*;
import org.springframework.web.multipart.MultipartFile;import javax.servlet.http.HttpServletResponse;
import java.util.HashMap;
import java.util.Map;@Slf4j
@RestController
@RequestMapping("/api/file")
@AllArgsConstructor
public class FileUploadController {private MinioConfig minioConfig;private MinIOUtil minIOUtil;private FileUploadService fileUploadService;@GetMapping("/bucketExists")public Rst bucketExists(@RequestParam("bucketName") String bucketName) {Map<String, Object> map = new HashMap<>();map.put("bucketExists", minIOUtil.bucketExists(bucketName));return Rst.ok("查詢成功", map);}@GetMapping("/makeBucket")public Rst makeBucket(@RequestParam("bucketName") String bucketName) {Map<String, Object> map = new HashMap<>();map.put("makeBucketSuccess", minIOUtil.makeBucket(bucketName));return Rst.ok("創建成功", map);}@GetMapping("/removeBucket")public Rst removeBucket(@RequestParam("bucketName") String bucketName) {Map<String, Object> map = new HashMap<>();map.put("deleteBucketSuccess", minIOUtil.removeBucket(bucketName));return Rst.ok("刪除成功", map);}@GetMapping("/getAllBuckets")public Rst getAllBuckets() {Map<String, Object> map = new HashMap<>();map.put("buckets", minIOUtil.getAllBuckets());return Rst.ok("查詢成功", map);}@PostMapping("/upload")public Rst upload(@RequestParam("file") MultipartFile file) {String objectName = minIOUtil.upload(file);if (objectName != null) {Map<String, Object> map = new HashMap<>();map.put("url", (minioConfig.getEndpoint() + "/" + minioConfig.getBucketName() + "/" + objectName));return Rst.ok("上傳成功", map);}return Rst.fail("上傳失敗");}@GetMapping("/preview")public Rst preview(@RequestParam("fileName") String fileName) {Map<String, Object> map = new HashMap<>();map.put("url", minIOUtil.preview(fileName));return Rst.ok("預覽成功", map);}@GetMapping("/download")public Rst download(@RequestParam("fileName") String fileName, HttpServletResponse resp) {minIOUtil.download(fileName, resp);return Rst.ok();}@PostMapping("/delete")public Rst remove(@RequestBody Map<String, String> params) {String url = params.get("url");String objName = url.substring(url.lastIndexOf(minioConfig.getBucketName() + "/") + minioConfig.getBucketName().length() + 1);log.info("刪除對象: {}", objName);minIOUtil.remove(objName);return Rst.ok("刪除成功");}
}

---

六. 常見問題

• 如何擴容集群？：直接添加新節點，MinIO 自動數據再平衡。
• 數據安全性：啟用 HTTPS、配置 Bucket Policy、使用 Server-Side Encryption。
• 性能優化：調整糾刪碼配置（如 MINIO_STORAGE_CLASS_STANDARD=EC:4）。