【10】高效存儲MongoDB的用法

?目錄

一、什么是MongoDB

二、準備工作

（1）安裝MongoDB?

?（2）安裝pymongo庫??

?三、連接MongoDB

四、指定數據庫

?五、指定集合

六、插入數據

（1） insert 方法

（2）insert_one() 和 insert_many() 方法

?七、查詢

（1）find_one()?

（2）ObjectId

（3）find()方法

八、計數

九、排序

十、偏移

十一、更新

（1）update()方法

（2）update_one() 方法和 update_many() 方法

十二、刪除

（1） remove() 方法? ? ? ??

（2）delete_one() 和 delete_many()

十三、其他操作

在第9講中我們學會了如何利用pyquery提取數據信息，那么提取得到的數據該如何存放呢？？本節介紹的MongoDB就是一種既方便存儲又方便檢索的存儲方式

一、什么是MongoDB

在這一節中，我們就來看看 Python 3 下 MongoDB 的存儲操作。 ?

二、準備工作

（1）安裝MongoDB?

????????在開始之前，請確保已經安裝好了 MongoDB 并啟動了其服務

? ? ? ? 安裝以及啟動方式參考：

Windows（超詳細保姆級教學）安裝mongodb數據庫_mongodb windows安裝-CSDN博客

windows環境下啟動mongodb服務_windows非正常關機導致mongodb服務手動才能啟動-CSDN博客

? ? ? ??

（2）安裝pymongo庫??

python中安裝 pymongo庫參考：[Python3網絡爬蟲開發實戰] 1.5.2-PyMongo的安裝 | 靜覓

?三、連接MongoDB

????????連接 MongoDB 時，我們需要使用 PyMongo 庫里面的 MongoClient。一般來說，傳入 MongoDB 的 IP 及端口即可，其中第一個參數為地址 host，第二個參數為端口 port（如果不給它傳遞參數，默認是 27017）：

import pymongo
client = pymongo.MongoClient(host='localhost', port=27017)

這樣就可以創建 MongoDB 的連接對象了。

另外，MongoClient 的第一個參數 host 還可以直接傳入 MongoDB 的連接字符串，它以 mongodb 開頭，例如：

client = MongoClient('mongodb://localhost:27017/')

這也可以達到同樣的連接效果。

四、指定數據庫

????????MongoDB 中可以建立多個數據庫，接下來我們需要指定操作哪個數據庫。這里我們以 test 數據庫為例來說明，下一步需要在程序中指定要使用的數據庫：

db = client.test

?這里調用 client 的 test 屬性即可返回 test 數據庫。當然，我們也可以這樣指定：

db = client['test']

?五、指定集合

????????MongoDB 的每個數據庫又包含許多集合（collection），它們類似于關系型數據庫中的表。下一步需要指定要操作的集合，這里指定一個集合名稱為 students。與指定數據庫類似，指定集合也有兩種方式：

collection = db.students
# collection = db['students']

六、插入數據

（1） insert 方法

????????接下來，便可以插入數據了。對于 students 這個集合，新建一條學生數據，這條數據以字典形式表示：

student = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male'
}

????????這里指定了學生的學號、姓名、年齡和性別。接下來，直接調用 collection 的 insert 方法即可插入數據，代碼如下

result = collection.insert(student)
print(result)

在 MongoDB 中，每條數據其實都有一個id 屬性來唯一標識。如果沒有顯式指明該屬性，MongoDB 會自動產生一個 ObjectId 類型的id 屬性。insert() 方法會在執行后返回_id 值。

運行結果如下：

5932a68615c2606814c91f3d

當然，我們也可以同時插入多條數據，只需要以列表形式傳遞即可，示例如下：

student1 = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male'
}student2 = {'id': '20170202','name': 'Mike','age': 21,'gender': 'male'
}result = collection.insert([student1, student2])
print(result)

返回結果是對應的_id 的集合：

[ObjectId('5932a80115c2606a59e8a048'), ObjectId('5932a80115c2606a59e8a049')]

（2）insert_one() 和 insert_many() 方法

實際上，在 PyMongo 3.x 版本中，官方已經不推薦使用 insert() 方法了。當然，繼續使用也沒有什么問題。官方推薦使用 insert_one() 和 insert_many() 方法來分別插入單條記錄和多條記錄，示例如下：

student = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male'
}result = collection.insert_one(student)
print(result)
print(result.inserted_id)

????????與 insert() 方法不同，這次返回的是 InsertOneResult 對象，我們可以調用其 inserted_id 屬性獲取_id。

????????對于 insert_many() 方法，我們可以將數據以列表形式傳遞，示例如下：

student1 = {'id': '20170101','name': 'Jordan','age': 20,'gender': 'male'
}student2 = {'id': '20170202','name': 'Mike','age': 21,'gender': 'male'
}result = collection.insert_many([student1, student2])
print(result)
print(result.inserted_ids)

該方法返回的類型是 InsertManyResult，調用 inserted_ids 屬性可以獲取插入數據的_id 列表。 ?

?七、查詢

（1）find_one()?

????????插入數據后，我們可以利用 find_one() 或 find() 方法進行查詢，其中 find_one() 查詢得到的是單個結果，find() 則返回一個生成器對象。示例如下：

result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)

?這里我們查詢 name 為 Mike 的數據，它的返回結果是字典類型，運行結果如下：

<class 'dict'>
{'_id': ObjectId('5932a80115c2606a59e8a049'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

發現，它多了_id 屬性，這就是 MongoDB 在插入過程中自動添加的。

（2）ObjectId

此外，我們也可以根據 ObjectId 來查詢，此時需要使用 bson 庫里面的 objectid：

from bson.objectid import ObjectIdresult = collection.find_one({'_id': ObjectId('593278c115c2602667ec6bae')})
print(result)

其查詢結果依然是字典類型，具體如下：

{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

當然，如果查詢結果不存在，則會返回 None。

（3）find()方法

對于多條數據的查詢，我們可以使用 find() 方法。例如，這里查找年齡為 20 的數據，示例如下：

results = collection.find({'age': 20})
print(results)
for result in results:print(result)

?運行結果如下：

<pymongo.cursor.Cursor object at 0x1032d5128>
{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278c815c2602678bb2b8d'), 'id': '20170102', 'name': 'Kevin', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278d815c260269d7645a8'), 'id': '20170103', 'name': 'Harden', 'age': 20, 'gender': 'male'}

返回結果是 Cursor 類型，它相當于一個生成器，我們需要遍歷取到所有的結果，其中每個結果都是字典類型。

如果要查詢年齡大于 20 的數據，則寫法如下：

results = collection.find({'age': {'$gt': 20}})

這里查詢的條件鍵值已經不是單純的數字了，而是一個字典，其鍵名為比較符號 $gt，意思是大于，鍵值為 20。

比較符號

符　　號含　　義示　　例
$lt 小于 {'age': {'$lt': 20}}
$gt 大于 {'age': {'$gt': 20}}
$lte 小于等于 {'age': {'$lte': 20}}
$gte 大于等于 {'age': {'$gte': 20}}
$ne 不等于 {'age': {'$ne': 20}}
$in 在范圍內 {'age': {'$in': [20, 23]}}
$nin 不在范圍內 {'age': {'$nin': [20, 23]}}

符　　號	含　　義	示　　例
$lt	小于	{'age': {'$lt': 20}}
$gt	大于	{'age': {'$gt': 20}}
$lte	小于等于	{'age': {'$lte': 20}}
$gte	大于等于	{'age': {'$gte': 20}}
$ne	不等于	{'age': {'$ne': 20}}
$in	在范圍內	{'age': {'$in': [20, 23]}}
$nin	不在范圍內	{'age': {'$nin': [20, 23]}}

八、計數

?要統計查詢結果有多少條數據，可以調用 count() 方法。比如，統計所有數據條數：

count = collection.find().count()
print(count)

?或者統計符合某個條件的數據：

count = collection.find({'age': 20}).count()
print(count)

運行結果是一個數值，即符合條件的數據條數。

九、排序

排序時，直接調用 sort() 方法，并在其中傳入排序的字段及升降序標志即可。示例如下：

results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

運行結果如下：

['Harden', 'Jordan', 'Kevin', 'Mark', 'Mike']

這里我們調用 pymongo.ASCENDING 指定升序。如果要降序排列，可以傳入 pymongo.DESCENDING。

十、偏移

?????????在某些情況下，我們可能想只取某幾個元素，這時可以利用 skip() 方法偏移幾個位置，比如偏移 2，就忽略前兩個元素，得到第三個及以后的元素：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark', 'Mike']

另外，還可以用 limit() 方法指定要取的結果個數，示例如下：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark']

?如果不使用 limit() 方法，原本會返回三個結果，加了限制后，會截取兩個結果返回。

值得注意的是，在數據庫數量非常龐大的時候，如千萬、億級別，最好不要使用大的偏移量來查詢數據，因為這樣很可能導致內存溢出。此時可以使用類似如下操作來查詢：

from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})

這時需要記錄好上次查詢的_id。

十一、更新

（1）update()方法

對于數據更新，我們可以使用 update() 方法，指定更新的條件和更新后的數據即可。例如：

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 25
result = collection.update(condition, student)
print(result)

這里我們要更新 name 為 Kevin 的數據的年齡：首先指定查詢條件，然后將數據查詢出來，修改年齡后調用 update() 方法將原條件和修改后的數據傳入。

運行結果如下：

{'ok': 1, 'nModified': 1, 'n': 1, 'updatedExisting': True}

返回結果是字典形式，ok 代表執行成功，nModified 代表影響的數據條數。

另外，我們也可以使用 $set 操作符對數據進行更新，代碼如下：

result = collection.update(condition, {'$set': student})

這樣可以只更新 student 字典內存在的字段。如果原先還有其他字段，則不會更新，也不會刪除。而如果不用 $set 的話，則會把之前的數據全部用 student 字典替換；如果原本存在其他字段，則會被刪除。

（2）update_one() 方法和 update_many() 方法

另外，update() 方法其實也是官方不推薦使用的方法。這里也分為 update_one() 方法和 update_many() 方法，用法更加嚴格，它們的第二個參數需要使用 $ 類型操作符作為字典的鍵名，示例如下：

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

這里調用了 update_one() 方法，第二個參數不能再直接傳入修改后的字典，而是需要使用 {'$set': student} 這樣的形式，其返回結果是 UpdateResult 類型。然后分別調用 matched_count 和 modified_count 屬性，可以獲得匹配的數據條數和影響的數據條數。

運行結果如下

<pymongo.results.UpdateResult object at 0x10d17b678>
1 0

我們再看一個例子

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

這里指定查詢條件為年齡大于 20，然后更新條件為 {'$inc': {'age': 1}}，也就是年齡加 1，執行之后會將第一條符合條件的數據年齡加 1。

運行結果如下：

<pymongo.results.UpdateResult object at 0x10b8874c8>
1 1

可以看到匹配條數為 1 條，影響條數也為 1 條。

如果調用 update_many() 方法，則會將所有符合條件的數據都更新，示例如下：

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

這時匹配條數就不再為 1 條了，運行結果如下：

<pymongo.results.UpdateResult object at 0x10c6384c8>
3 3

可以看到，這時所有匹配到的數據都會被更新。

十二、刪除

（1） remove() 方法? ? ? ??

刪除操作比較簡單，直接調用 remove() 方法指定刪除的條件即可，此時符合條件的所有數據均會被刪除。示例如下：

result = collection.remove({'name': 'Kevin'})
print(result)

運行結果如下：

{'ok': 1, 'n': 1}

（2）delete_one() 和 delete_many()

另外，這里依然存在兩個新的推薦方法 ——delete_one() 和 delete_many()。示例如下：

result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)

運行結果如下：

<pymongo.results.DeleteResult object at 0x10e6ba4c8>
1
4

????????delete_one() 即刪除第一條符合條件的數據，delete_many() 即刪除所有符合條件的數據。它們的返回結果都是 DeleteResult 類型，可以調用 deleted_count 屬性獲取刪除的數據條數。