單機上使用docker搭建minio集群
- 1.集群安裝
- 1.1前提條件
- 1.2步驟指南
- 1.2.1安裝 Docker 和 Docker Compose(如果尚未安裝)
- 1.2.2編寫docker-compose文件
- 1.2.3啟動
- 1.2.4訪問
- 2.使用
- 2.1 mc客戶端安裝
- 2.2創建一個連接
- 2.3簡單使用下
這里在ubuntu上單機安裝一個minio集群,可以作為比如GIT-LFS的存儲,用于存放大模型權重文件等。
1.集群安裝
1.1前提條件
確保你的服務器已安裝Docker。
準備足夠的磁盤空間來存儲數據,并為每個MinIO實例分配獨立的存儲路徑。
1.2步驟指南
1.2.1安裝 Docker 和 Docker Compose(如果尚未安裝)
如果你還沒有安裝Docker和Docker Compose,請先進行安裝。
1.2.2編寫docker-compose文件
創建一個minio目錄,在目錄下創建docker-compose.yml,將如下內容拷貝到文件中:
整了三個服務,啟動后分別是minio1、minio2、minio3,3個容器,將API端口和WEB控制臺端口分別映射到宿主機,其中9090是WEB CONSOLE端口,可以使用瀏覽器訪問,9000是API端口,用于業務操作流。
將/data目錄分別映射到宿主機。
啟動的command命令,將各個實例組合成一個minio集群,其中的http://minio1/data,minio1是容器的名稱,data是容器里面的存儲路徑,而非映射出來的路徑。
–console-address 是console的端口。
其中映射到宿主的端口、路徑可以根據實際情況修改。控制臺的用戶密碼可以根據實際情況修改。
version: '3'services:minio1:image: minio/minio:latestcontainer_name: minio1ports:- "9001:9000"- "9091:9090" # Console portenvironment:MINIO_ROOT_USER: minioadminMINIO_ROOT_PASSWORD: minioadminvolumes:- /home/wengad/data/dockerdata/minio1:/datacommand: server http://minio1/data http://minio2/data http://minio3/data --console-address ":9090"networks:- minio-networkminio2:image: minio/minio:latestcontainer_name: minio2ports:- "9002:9000"- "9092:9090"environment:MINIO_ROOT_USER: minioadminMINIO_ROOT_PASSWORD: minioadminvolumes:- /home/wengad/data/dockerdata/minio2:/datacommand: server http://minio1/data http://minio2/data http://minio3/data --console-address ":9090"networks:- minio-networkminio3:image: minio/minio:latestcontainer_name: minio3ports:- "9003:9000"- "9093:9090"environment:MINIO_ROOT_USER: minioadminMINIO_ROOT_PASSWORD: minioadminvolumes:- /home/wengad/data/dockerdata/minio3:/datacommand: server http://minio1/data http://minio2/data http://minio3/data --console-address ":9090"networks:- minio-networknetworks:minio-network:driver: bridge
1.2.3啟動
在當前目錄下執行
docker-compose up -d
1.2.4訪問
如果啟動沒問題,就可以通過瀏覽器訪問console界面,三個服務都可以訪問。
http://127.0.0.1:9091/
http://127.0.0.1:9092/
http://127.0.0.1:9093/
2.使用
2.1 mc客戶端安裝
訪問https://dl.minio.org.cn/client/mc/release/linux-amd64
下載一個deb包
sudo pdkg -i xx.deb
安裝成功后,執行mcli,會輸出類似如下。
2.2創建一個連接
# mcluster是連接名,可以根據實際修改,URL
mcli alias set mcluster/ http://127.0.0.1:9001 minioadmin minioadmin
2.3簡單使用下
更多的mcli的命令可以參考如下:minio官方資料
# 執行個上傳大模型,本機上傳,速度還比較快,估計跟本機用SSD盤也有關系,3-4秒上傳完畢
mcli cp model-00001-of-00008.safetensors mcluster/weng
會看到minio的data目錄下的內容