什么是 MongoDB?
MongoDB 是一個流行的非關系型數據庫(NoSQL),它使用類似 JSON 的文檔來存儲數據,而不是傳統的表格形式。這使得 MongoDB 非常靈活,特別適合處理半結構化數據和快速迭代的開發場景。
核心概念
關系型數據庫術語 | MongoDB 術語 |
---|---|
數據庫 (Database) | 數據庫 (Database) |
表 (Table)? | 集合 (Collection) |
行 (Row)? | 文檔 (Document) |
列 (Column)? | 字段 (Field) |
主鍵 (Primary Key)? | ObjectId (_id) |
安裝 MongoDB
在 Ubuntu 上安裝
# 導入公鑰
wget -qO - https://www.mongodb.org/static/pgp/server-6.0.asc | sudo apt-key add -# 創建源列表文件
echo "deb [ arch=amd64,arm64 ] https://repo.mongodb.org/apt/ubuntu focal/mongodb-org/6.0 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-org-6.0.list# 更新包管理器
sudo apt-get update# 安裝 MongoDB
sudo apt-get install -y mongodb-org# 啟動 MongoDB
sudo systemctl start mongod
sudo systemctl enable mongod
使用 Docker 安裝
docker run -d -p 27017:27017 --name mongodb mongo:latest
在 macOS 上安裝
# 使用 Homebrew
brew tap mongodb/brew
brew install mongodb-community
brew services start mongodb/brew/mongodb-community
在rocky linux上安裝
下載安裝包 mongodb-linux-x86_64-rhel70-4.4.18.tgz
安裝腳本:
mongodb_install.sh
#!/bin/bash# /data/mongodb /{data,logs,conf}dataroot=$1
ver=$2
shardid=$3
# 用法 sh mongodb.sh 目錄 版本 1
setip='0.0.0.0'
if [ $# -ne 3 ];thenecho "Error: please use $0 dataroot ver shardid"exit 1
fi
yum install -y libaio wget telnet net-tools strace gdb lsof sysstat bc numactl grubby chrony traceroute s3cmd zstd jq libcrypto.so.10 compat-openssl10addcmd(){
addText=$1
file=$2
#判斷 file.sh 文件中是否存在該字符串 # Check whether the character string exists in the file.sh file
if ! grep "$addText" $file >/dev/null
then
#不存在,添加字符串 # Does not exist, add a stringecho $addText >> $file
else
#存在,不做處理echo $addText" exist in "$file
fi
}
# shardno3rd=`expr $shardid \* 3`
#shardno1st=`expr $shardno3rd - 2`
shardno1st=$shardid
#wget mongodb-linux-x86_64-rhel70-4.4.18.tgz
tar xzvf mongodb-linux-x86_64-rhel70-$ver.tgz -C /opt
ln -snf /opt/mongodb-linux-x86_64-rhel70-$ver /usr/local/mongodb
basedir='/usr/local/mongodb'
datadir=$dataroot'/mongodb/data'
logdir=$dataroot'/mongodb/logs'# rm $datadir/* -rf
mkdir -p $logdir#mkdir -p ${dataroot}/mongodb/config
mkdir ${dataroot}/mongodb/confaddcmd 'export PATH=$PATH:/usr/local/mongodb/bin' ~/.bash_profile
source ~/.bash_profile
groupadd mongodb
useradd -g mongodb mongodb
cat > /usr/lib/systemd/system/mongod_multiple_servers@.service << EOF
[Unit]
Description=MongoDB Database Server
Documentation=https://docs.mongodb.org/manual
After=network-online.target
Wants=network-online.target
[Service]
User=mongodb
Group=mongodb
#EnvironmentFile=-$basedir/etc/default/mongod
ExecStart=$basedir/bin/mongod --config ${dataroot}/mongodb/conf/mongo_shard%i.yml
ExecStop=$basedir/bin/mongod --config ${dataroot}/mongodb/conf/mongo_shard%i.yml --shutdown
PIDFile=$datadir/%i/mongo_%i.pid
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=64000
# processes/threads
LimitNPROC=64000
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false
# Recommended limits for mongod as specified in
# https://docs.mongodb.com/manual/reference/ulimit/#recommended-ulimit-settings[Install]
WantedBy=multi-user.target
EOF
systemctl daemon-reload
j=$shardno1st
for ((i=1; i<=j; i++))
domkdir -p $datadir/shard$iif [ ! -f $basedir/conf/mongo_shard$i.yml ]; thentouch ${dataroot}/mongodb/conf/mongo_shard$i.ymlfiport=`expr $i + 40000`cat > ${dataroot}/mongodb/conf/mongo_shard$i.yml << EOF
systemLog:destination: filepath: "$logdir/mongo_shard$i.log"logAppend: truelogRotate: rename
storage:journal:enabled: truecommitIntervalMs: 162dbPath: "$datadir/shard$i"syncPeriodSecs: 67engine: wiredTigerwiredTiger:engineConfig:cacheSizeGB: 3
processManagement:fork: false
net:bindIp: $setip#注意修改端口 # Notice Modifying the portport: $port
setParameter:enableLocalhostAuthBypass: true
replication:#復制集名稱 # Replication set namereplSetName: "rsshd1"oplogSizeMB: 24576
sharding:#作為分片服務 # As a shard serviceclusterRole: shardsvr
#security:
# keyFile: "/data/mongodb/conf/keyFile"
# authorization: enabled
EOF
sed -i "s|`grep cacheSizeGB ${dataroot}/mongodb/conf/mongo_shard$i.yml|sed 's/^[ \t]*//g'`|cacheSizeGB: "$(echo `free -m|grep Mem|awk -F' ' '{print $4}'`*0.85/1000|bc|cut -d'.' -f1)"|g" ${dataroot}/mongodb/conf/mongo_shard$i.ymlchown -R mongodb:mongodb $dataroot/mongodbchown -R mongodb:mongodb $basedircd $basedirrpath=`pwd -P`chown -R mongodb:mongodb $rpathsystemctl restart mongod_multiple_servers@$i.servicesystemctl enable mongod_multiple_servers@$i.service
done
sh mongodb_install /data 4.4.18 1
基本操作
啟動 MongoDB Shell
mongosh
或
mongo
數據庫操作
// 顯示所有數據庫
show dbs// 使用或創建數據庫
use mydatabase// 查看當前數據庫
db// 刪除當前數據庫
db.dropDatabase()
集合操作
// 創建集合
db.createCollection("users")// 顯示所有集合
show collections// 刪除集合
db.users.drop()
CRUD 操作(創建、讀取、更新、刪除)
創建文檔
// 插入單個文檔
db.users.insertOne({name: "張三",age: 30,email: "zhangsan@example.com",hobbies: ["閱讀", "游泳"],address: {city: "北京",street: "朝陽區"},created_at: new Date()
})// 插入多個文檔
db.users.insertMany([{name: "李四",age: 25,email: "lisi@example.com"},{name: "王五",age: 35,email: "wangwu@example.com"}
])
查詢文檔
// 查詢所有文檔
db.users.find()// 格式化輸出
db.users.find().pretty()// 條件查詢
db.users.find({ age: 30 })
db.users.find({ age: { $gt: 25 } }) // 大于25歲
db.users.find({ age: { $lt: 30 } }) // 小于30歲
db.users.find({ age: { $gte: 25, $lte: 35 } }) // 25到35歲之間// 查詢特定字段
db.users.find({}, { name: 1, email: 1 }) // 只返回name和email字段// 限制結果數量
db.users.find().limit(5)// 排序
db.users.find().sort({ age: 1 }) // 升序
db.users.find().sort({ age: -1 }) // 降序// 復雜查詢
db.users.find({$or: [{ age: { $gt: 30 } },{ name: "張三" }]
})
更新文檔
// 更新單個文檔
db.users.updateOne({ name: "張三" },{ $set: { age: 31 } }
)// 更新多個文檔
db.users.updateMany({ age: { $lt: 30 } },{ $set: { status: "young" } }
)// 增加字段
db.users.updateOne({ name: "張三" },{ $set: { occupation: "工程師" } }
)// 增加數組元素
db.users.updateOne({ name: "張三" },{ $push: { hobbies: "編程" } }
)// 使用增量操作符
db.users.updateOne({ name: "張三" },{ $inc: { age: 1 } } // 年齡加1
)
刪除文檔
// 刪除單個文檔
db.users.deleteOne({ name: "張三" })// 刪除多個文檔
db.users.deleteMany({ age: { $lt: 25 } })
索引優化
創建索引
// 創建單字段索引
db.users.createIndex({ email: 1 }) // 1表示升序,-1表示降序// 創建復合索引
db.users.createIndex({ name: 1, age: -1 })// 創建唯一索引
db.users.createIndex({ email: 1 }, { unique: true })// 查看索引
db.users.getIndexes()// 刪除索引
db.users.dropIndex("email_1")
查詢分析
// 分析查詢性能
db.users.find({ email: "zhangsan@example.com" }).explain("executionStats")
聚合框架
MongoDB 的聚合框架允許對數據進行復雜的處理和轉換。
// 簡單分組統計
db.users.aggregate([{$group: {_id: "$age",count: { $sum: 1 }}}
])// 多階段聚合
db.orders.aggregate([// 階段1: 匹配條件{ $match: { status: "completed" } },// 階段2: 按用戶分組并計算總金額{$group: {_id: "$user_id",total_amount: { $sum: "$amount" },order_count: { $sum: 1 }}},// 階段3: 按總金額排序{ $sort: { total_amount: -1 } },// 階段4: 限制結果數量{ $limit: 10 }
])// 連接查詢(類似SQL的JOIN)
db.orders.aggregate([{$lookup: {from: "users", // 要連接的表localField: "user_id", // 本地字段foreignField: "_id", // 外部字段as: "user_info" // 輸出字段名}}
])
使用 Python 操作 MongoDB
安裝 PyMongo
pip install pymongo
基本操作示例
from pymongo import MongoClient
from datetime import datetime# 連接 MongoDB
client = MongoClient('mongodb://localhost:27017/')# 選擇數據庫
db = client['mydatabase']# 選擇集合
collection = db['users']# 插入文檔
user_data = {"name": "趙六","age": 28,"email": "zhaoliu@example.com","created_at": datetime.now()
}
result = collection.insert_one(user_data)
print(f"插入文檔ID: {result.inserted_id}")# 查詢文檔
user = collection.find_one({"name": "趙六"})
print(f"找到用戶: {user}")# 更新文檔
collection.update_one({"name": "趙六"},{"$set": {"age": 29}}
)# 刪除文檔
collection.delete_one({"name": "趙六"})# 關閉連接
client.close()
高級查詢示例
# 查詢年齡大于25的用戶
users = collection.find({"age": {"$gt": 25}})
for user in users:print(user)# 使用聚合框架
pipeline = [{"$group": {"_id": "$age", "count": {"$sum": 1}}},{"$sort": {"count": -1}}
]
result = collection.aggregate(pipeline)
for item in result:print(f"年齡: {item['_id']}, 人數: {item['count']}")
數據備份與恢復
備份數據庫
# 備份整個數據庫
mongodump --db mydatabase --out /backup/# 備份特定集合
mongodump --db mydatabase --collection users --out /backup/
恢復數據庫
# 恢復整個數據庫
mongorestore --db mydatabase /backup/mydatabase/# 恢復特定集合
mongorestore --db mydatabase --collection users /backup/mydatabase/users.bson
導出為JSON
# 導出集合為JSON
mongoexport --db mydatabase --collection users --out users.json
從JSON導入
# 從JSON導入數據
mongoimport --db mydatabase --collection users --file users.json
安全配置
啟用身份驗證
// 連接到MongoDB
mongosh// 切換到admin數據庫
use admin// 創建管理員用戶
db.createUser({user: "admin",pwd: "securepassword",roles: [ { role: "root", db: "admin" } ]
})// 創建應用用戶
use mydatabase
db.createUser({user: "appuser",pwd: "apppassword",roles: [ { role: "readWrite", db: "mydatabase" } ]
})
配置文件示例
創建 /etc/mongod.conf:
storage:dbPath: /var/lib/mongodbjournal:enabled: truesystemLog:destination: filelogAppend: truepath: /var/log/mongodb/mongod.lognet:port: 27017bindIp: 127.0.0.1 # 只允許本地連接,生產環境應配置為特定IPsecurity:authorization: enabled # 啟用身份驗證
性能優化技巧
使用索引:為常用查詢字段創建索引
限制返回字段:只查詢需要的字段
使用投影:減少網絡傳輸數據量
批量操作:使用批量插入/更新操作
適當分片:對于大數據集,考慮使用分片集群
常見問題解決
連接問題
# 處理連接錯誤
from pymongo import MongoClient
from pymongo.errors import ConnectionFailuretry:client = MongoClient('mongodb://localhost:27017/', serverSelectionTimeoutMS=5000)client.admin.command('ismaster')print("連接成功")
except ConnectionFailure:print("無法連接到MongoDB")
處理重復鍵錯誤
from pymongo import MongoClient
from pymongo.errors import DuplicateKeyErrortry:collection.insert_one({"_id": 1, "name": "test"})
except DuplicateKeyError:print("文檔已存在")
總結
MongoDB 是一個功能強大且靈活的 NoSQL 數據庫,適合處理各種類型的數據。通過本文的介紹,您應該已經掌握了:
MongoDB 的基本概念和安裝方法
基本的 CRUD 操作
索引的創建和使用
聚合框架的基本用法
使用 Python 操作 MongoDB
數據備份和恢復
基本的安全配置
要深入學習 MongoDB,建議:
實踐更多復雜的聚合查詢
學習副本集和分片集群的配置
探索 MongoDB Atlas(云服務)
閱讀官方文檔獲取最新功能信息
記住,實踐是最好的學習方式,嘗試在自己的項目中使用 MongoDB,逐步掌握它的高級功能。