MongoDB 分片集群把非分片集合轉成分片集合

`記得關注一下博主，博主每天都會更新IT技術，讓你有意想不到的小收獲哦^_^`

文章目錄

*`記得關注一下博主，博主每天都會更新IT技術，讓你有意想不到的小收獲哦^_^`*
- - 一、MongDB集群啟停止
  - - - 1、MonogoDB分片集群服務啟動順序(三臺主機都要操作，主機啟動順序 mongodb01 --- mongodb02 --- mongodb03)
      - 2、MonogoDB分片集群服務停止順序(三臺主機都要操作，主機停止順序 mongodb03 --- mongodb02 --- mongodb01)
  - 二、查看并調整MonogDB分片集群
  - - - 1、查看分片集群狀態信息
      - 2、查看分片數據庫信息
      - 3、開啟balancer功能
      - 4、設置balance進程activeWindows運行窗口時間（本教程暫時不設置，以免影響后面模擬操作）
  - 三、MongoDB分片集群模擬非分片集合轉分片集合
  - - - 1、分片集群創建非分片集合并插入數據
      - 2、查看school數據庫分片情況
      - 3、school數據庫開啟分片功能
      - 4、school數據庫student集合開啟分片功能
      - 5、調整MongoDB分片集群 Chunk大小
      - 6、開啟student集合balancer功能和設置autosplit屬性為true
      - 7、設置student集合balancer功能autosplit屬性為true
      - 8、查看school數據庫student集合Chunk數據塊在每個shard節點分配使用情況
      - 9、模擬school數據庫student集合插入數據
      - 10、查看school數據庫student集合Chunk數據塊在每個shard節點分配使用情況

MongoDB分片集群由以下組件組成

shard 分片服務：提供以復制集為單位橫向擴展，最大支持分片節點1024個，分片之間的數據不重復，所有分片在一起才可以完整工作。

mongos 路由服務：提供客戶端應用程序和分片群集之間接口，選擇合適數據shard節點進行讀寫，不持久化數據，只緩存config配置服務器的元數據。

config 配置服務：提供MongoDB分片集群數據存儲分片shard節點的信息和分片功能的配置信息, 從MongoDB 3.4開始，配置服務器必須部署為副本集。

主機規劃

主機名稱	主機IP	CPU	內存	mongos端口	config端口	share1端口	share2端口	share3端口	操作系統及軟件版本
mongodb01	192.168.91.61	2*4	16GB	27017	27019	27101	27102	27103	CentOS 7.9 mongo 4.4.29 mongos 4.4.29 mongod 4.4.29 mongosh 2.2.29
mongodb02	192.168.91.62	2*4	16GB	27017	27019	27101	27102	27103	CentOS 7.9 mongo 4.4.29 mongos 4.4.29 mongod 4.4.29 mongosh 2.2.29
mongodb03	192.168.91.63	2*4	16GB	27017	27019	27101	27102	27103	CentOS 7.9 mongo 4.4.29 mongos 4.4.29 mongod 4.4.29 mongosh 2.2.29

MongoDB分片集群架構圖

在這里插入圖片描述

提示：MongoDB 分片集群安裝與部署本教程不講解，如有疑問請自行上網查閱關于MongDB分片集群安裝與部署。

一、MongDB集群啟停止

1、MonogoDB分片集群服務啟動順序(三臺主機都要操作，主機啟動順序 mongodb01 — mongodb02 — mongodb03)

systemctl start mongod
systemctl start shard1
systemctl start shard2
systemctl start shard3
systemctl start mongossystemctl status mongod
systemctl status shard1
systemctl status shard2
systemctl start shard3
systemctl status mongos

2、MonogoDB分片集群服務停止順序(三臺主機都要操作，主機停止順序 mongodb03 — mongodb02 — mongodb01)

systemctl stop mongos
systemctl stop shard3
systemctl stop shard2
systemctl stop shard1
systemctl stop mongodsystemctl status mongos
systemctl status shard3
systemctl status shard2
systemctl status shard1
systemctl status mongod

二、查看并調整MonogDB分片集群

1、查看分片集群狀態信息

mongosh --host 192.168.91.61 --port 27017 -u root -p 123456### 顯示分片集群的分片節點信息
use admin
db.runCommand({ listshards : 1})### 查看分片集群狀態信息
use admin
sh.status()
### 查看更多分片集群狀態信息，包括分片鍵和范圍信息等
sh.status(true)

2、查看分片數據庫信息

mongosh --host 192.168.91.61 --port 27017 -u root -p 123456### 查看已開啟分片的數據庫
use config
db.databases.find( { "partitioned": true } )
db.databases.find()### 查看所有分片的片鍵
db.collections.find()

3、開啟balancer功能

提示：balancer組件是MongoDB分片集群中的一個進程，它會定期檢查分片集群中的分片數量，并自動遷移分片之間數據不均衡的數據塊，以此來實現數據分布均衡。

mongosh --host 192.168.91.61 --port 27017 -u root -p 123456### 檢查balancer是否開啟，true為開啟，false為關閉，默認開啟
sh.getBalancerState()### 啟動balancer
sh.startBalancer()### 關閉balancer
sh.stopBalancer()

4、設置balance進程activeWindows運行窗口時間（本教程暫時不設置，以免影響后面模擬操作）

提示：如果MongDB分片集群在執行備份期間，需要確保balance處于停止狀態，以免MongDB分片集群在執行備份期間還有數據塊在遷移，影響備份數據的一致性。可以設置一個備份窗口時間用于自動化備份操作，在這個時間段內，balancer進程一直處于停止狀態。

mongosh --host 192.168.91.61 --port 27017 -u root -p 123456### 檢查balancer是否開啟，true為開啟，false為關閉，默認開啟
use config
sh.getBalancerState()### 如果未開balancer功能可以執行以下命令開啟
sh.setBalancerState( true )### 設置balancer進程activeWindows運行窗口從6點開始運行，晚上23點停止，其余的時間段可以用來備份分片集群數據庫操作
db.settings.update( { _id : "balancer" }, { $set : { activeWindow : { start : "6:00", stop : "23:00" } } }, true )### 刪除balancer進程activeWindows運行窗口
db.settings.update({ "_id" : "balancer" }, { $unset : { activeWindow : 1 }});

三、MongoDB分片集群模擬非分片集合轉分片集合

模擬說明：暫時先不要給模擬數據庫和集合啟動分片功能，等創建好數據庫并插入數據后，再啟動分片功能。

1、分片集群創建非分片集合并插入數據

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### 創建school數據庫
use school### 創建student集合并插入數據
for (var i = 1; i <= 10000; i++){db.student.insert({number:i,"001":"xiaoming"});
}### 查看school數據庫student集合數據
use school
show collections;
db.student.find().limit(5)
db.student.find().count()

2、查看school數據庫分片情況

提示：MongoDB分片集群school數據庫student集合如果要開啟分片功能，需要先開啟school數據庫分片功能才能接著開啟student集合的分片功能。

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### 當前參數partitioned:為false說明school數據庫并沒有開啟分片功能，student集合也沒有開啟分片功能，當前參數primary: 'shard1'說明school數據庫只是分配在shard1節點上
[direct: mongos] config> sh.status()
…………………………………………database: {_id: 'school',primary: 'shard1',partitioned: false,version: {uuid: UUID('9e42a412-f191-40b5-9804-9f225cd5abb4'),lastMod: 1},lastMovedTimestamp: Timestamp({ t: 1718954817, i: 1 })},collections: {}}
]

3、school數據庫開啟分片功能

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### school數據庫開啟分片功能
use admin
sh.enableSharding("school")### 當前參數partitioned:為true說明school數據庫開啟分片功能
[direct: mongos] admin> sh.status()
…………………………………………database: {_id: 'school',primary: 'shard1',partitioned: true,version: {uuid: UUID('9e42a412-f191-40b5-9804-9f225cd5abb4'),lastMod: 1},lastMovedTimestamp: Timestamp({ t: 1718954817, i: 1 })},collections: {}}
]

4、school數據庫student集合開啟分片功能

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### school數據庫student集合開啟分片功能，提示以下錯誤原因在于當前school數據庫student集合已經有數據在里面（屬于非分片集合），并且插入的數據并沒有分片索引，所以，需要進入到school數據庫先創建student集合的分片索引。
[direct: mongos] admin> use admin
[direct: mongos] admin> sh.shardCollection( "school.student", { _id: "hashed" } )
MongoServerError[InvalidOptions]: Please create an index that starts with the proposed shard key before sharding the collection### 進入school數據庫創建student集合分片索引（”_id”索引名稱自定義）
[direct: mongos] school> use school
[direct: mongos] school> db.student.createIndex( { _id: "hashed" } )
[direct: mongos] school> db.student.getIndexes()
[{ v: 2, key: { _id: 1 }, name: '_id_' },{ v: 2, key: { _id: 'hashed' }, name: '_id_hashed' }
]### 開啟school數據庫student集合分片功能
use admin
sh.shardCollection( "school.student", { _id: "hashed" } )### 當前參數balancing值為true說明student集合開啟了balancer功能。當前chunkMetadata參數只分配在shard1節點上，但沒有分配在shard2節點和shard3節點，是否student沒有開啟分片功能？其實不是這樣子，原因在于當前student集合并沒有數據寫入，而且數據也很小，分片集群的Chunk數據塊默認是64MB，其實只要一個shard節點的一個Chunk數據塊就夠存儲了。如果我們把Chunk數據塊調整成1MB，然后我們在往student集合插入大量數據，那balancer進程就會檢查到有數據寫入到student集合就會觸發自動平衡student集合Chunk數據塊到shard1節點、shard2節點、shard3節點。
[direct: mongos] admin> sh.status()
…………………………………………database: {_id: 'school',primary: 'shard1',partitioned: true,version: {uuid: UUID('9e42a412-f191-40b5-9804-9f225cd5abb4'),lastMod: 1},lastMovedTimestamp: Timestamp({ t: 1718954817, i: 1 })},collections: {'school.student': {shardKey: { _id: 'hashed' },unique: false,balancing: true,chunkMetadata: [ { shard: 'shard1', nChunks: 1 } ],chunks: [{ min: { _id: MinKey() }, max: { _id: MaxKey() }, 'on shard': 'shard1', 'last modified': Timestamp({ t: 1, i: 0 }) }],tags: []}}}
]

5、調整MongoDB分片集群 Chunk大小

提示：本教程調整Chunk大小為1MB只是為了方便模擬測試，如果是生產環境推薦使用默認值或根據實際環境需求調整。

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### 調整chunk大小，默認64MB，chunk取值范圍 1MB~1024MB(2的整數倍取值)，"value:1"代表調整每個chunk大小為1MB
use config
db.settings.updateOne( { _id: "chunksize" },{ $set: { _id: "chunksize", value: 1 } },{ upsert: true } )### 查看chunk大小，并且要確保當前參數autosplit為true狀態，才能讓Chunk自動分裂，autosplit屬性也是靠insert和update來觸發Chunk自動分裂的
[direct: mongos] config> db.settings.find()
[{ _id: 'balancer', mode: 'full', stopped: false },{ _id: 'autosplit', enabled: true },{ _id: 'chunksize', value: 1 }
]

6、開啟student集合balancer功能和設置autosplit屬性為true

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### 開啟student集合balancer功能
use config
sh.enableBalancing("school.student") ### 關閉student集合balancer功能
use config
sh.disableBalancing("school.student")### 查看school數據庫student集合是否開啟了balancer功能，如果參數balancing值為true說明開啟，false說明關閉
sh.status()

7、設置student集合balancer功能autosplit屬性為true

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456### 設置autosplit屬性為true
use config
sh.disableAutoSplit()### 設置autosplit屬性為false
use config
sh.enableAutoSplit()### 查看student集合balancer功能autosplit屬性值
use config
db.settings.find()

8、查看school數據庫student集合Chunk數據塊在每個shard節點分配使用情況

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456[direct: mongos] config> use school[direct: mongos] school> db.student.getShardDistribution()
Shard shard1 at shard1/192.168.91.61:27101,192.168.91.62:27101,192.168.91.63:27101
{data: '507KiB',docs: 10000,chunks: 1,'estimated data per chunk': '507KiB','estimated docs per chunk': 10000
}
---
Totals
{data: '507KiB',docs: 10000,chunks: 1,'Shard shard1': ['100 % data','100 % docs in cluster','52B avg obj size on shard']
}

9、模擬school數據庫student集合插入數據

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456use school### student集合在原來1萬條數據再插入多5萬條數據
for (var i = 10001; i <= 60000; i++){db.student.insert({id:i,"003":"xiaoming"});
}### 查看school數據庫student集合數據
use school
show collections;
db.student.find().limit(5)
db.student.find().count()

10、查看school數據庫student集合Chunk數據塊在每個shard節點分配使用情況

mongosh --host 192.168.91.61  --port 27017  -u root -p 123456[direct: mongos] school> use school[direct: mongos] school> db.student.getShardDistribution()
Shard shard1 at shard1/192.168.91.61:27101,192.168.91.62:27101,192.168.91.63:27101
{data: '2.16MiB',docs: 46552,chunks: 1,'estimated data per chunk': '2.16MiB','estimated docs per chunk': 46552
}
---
Shard shard2 at shard2/192.168.91.61:27102,192.168.91.62:27102,192.168.91.63:27102
{data: '1.38MiB',docs: 29859,chunks: 1,'estimated data per chunk': '1.38MiB','estimated docs per chunk': 29859
}
---
Shard shard3 at shard3/192.168.91.61:27103,192.168.91.62:27103,192.168.91.63:27103
{data: '709KiB',docs: 14929,chunks: 1,'estimated data per chunk': '709KiB','estimated docs per chunk': 14929
}
---
Totals
{data: '4.24MiB',docs: 91340,chunks: 3,'Shard shard1': ['51.06 % data','50.96 % docs in cluster','48B avg obj size on shard'],'Shard shard2': ['32.62 % data','32.68 % docs in cluster','48B avg obj size on shard'],'Shard shard3': ['16.31 % data','16.34 % docs in cluster','48B avg obj size on shard']
}