mongo ttl索引

db.log_events.find()? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# 查找log_events里的所有數據
db.log_events.createIndex( { "LogDT": 1 }, { expireAfterSeconds: 3600 } )? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #設置log_events里的TTL過期索引清理時間為3600秒
db.runCommand( { collMod: "log_events",index: { keyPattern: { LogDT: 1 },expireAfterSeconds: 10800 }})? ? ? ?#修改過期索引時間，建議最好還是先drop在新建
db.log_events.getIndexes()? ? ? ? ? ? ? ? ?#查找log_events里的所有索引
TTL索引是MongoDB中一種特殊的索引， 可以支持文檔在一定時間之后自動過期刪除，目前TTL索引只能在單字段上建立，
并且字段類型必須是date類型或者包含有date類型的數組（如果數組中包含多個date類型字段，則取最早時間為過期時間）
官網介紹鏈接：https://docs.mongodb.com/v3.2/core/index-ttl/
當你在集合中某一個字段建立TTL索引后，后臺會有一個單線程，通過不斷查詢（默認60s一次）索引的值來判斷document是否有過期，
并且刪除文檔的動作還依據mongod實例的負載情況，如果負載很高，可能會稍微延后一段時間再刪除。
還有一個需要注意的地方，在復制集成員中，TTL后臺線程只刪除primary的過期數據，如果此實例變為secondary角色，則后臺線程閑置
限制條件：
有一下集中情況是無法使用TTL索引的
①TTL索引是單字段索引，混合索引不支持TTL，并且也會忽略expireAfterSeconds屬性
②在_id 主鍵上不能建立TTL索引
③在capped collection中不能建立TTL索引，因為MongoDB不能從capped collection中刪除文檔
④你不能使用createIndex()去更改已經存在的TTL索引的expireAfterSeconds值，如果想更改expireAfterSeconds，可以使用collMod命令，
否則你只能刪除索引，然后重建了
⑤你不能在已有索引的字段上再創建TTL索引了，如果你想把非TTL索引改為TTL索引，那就只能刪除重建索引了
驗證：
雖然已經實現了晚上集中自動刪除的功能，但是還是擔心刪除過大數量時負荷問題，隨進行了簡單測試，一查看TTL索引在億級別集合中刪除140萬過期數據的消耗
測試配置：
OS：Vm虛擬機
CPU: 4
內存：8
集合數據量：
> db.t1.count()
104273617
因為我制造測試數據時，_id是順序增加的，所以我直接查看_id=1500000的那筆數據的createTime，然后自己計算一下此createTime和當前時間的時間差，
隨后根據這個時間差來更改expireAfterSeconds的值，以讓這150萬數據5分鐘后過期并刪除。
在修改完expireAfterSeconds后，就嚴密延時“?vmstat 1 ”?命令的輸出數據；
我的測試結果：
刪除操作整個過程在90秒左右完成；
CPU最高占用90%，平均在50%
內存占用3G
這個也是特別準確的模擬情況，只是粗略的了解一下TTL索引的資源消耗，以決定是不是需要這樣的方式來實現刪除過期數據
監控vmstat的截圖：

?

創建TTL索引方法：
和普通索引的創建方法一樣，只是會多加一個屬性而已
例：在log_events的集合中，createTime 字段上建立一小時后過期的TTL索引
[sql]?view plaincopy
  1. ?>db.log_events.createIndex(?{?"createTime":?1?},?????---字段名稱???
  2. ????????????????????????????????{?expireAfterSeconds:?60*60?}?)?????---過期時間（單位秒）??
  3. >db.log_events.getIndexes()?????---查看索引??
  4. [??
  5. ????????{??
  6. ????????????????"v"?:?1,??
  7. ????????????????"key"?:?{??
  8. ????????????????????????"_id"?:?1??
  9. ????????????????},??
  10. ????????????????"name"?:?"_id_",??
  11. ????????????????"ns"?:?"tt.t1"??
  12. ????????},??
  13. ????????{??
  14. ????????????????"v"?:?1,??
  15. ????????????????"key"?:?{??
  16. ????????????????????????"createTime"?:?1??
  17. ????????????????},??
  18. ????????????????"name"?:?"createTime_1",??
  19. ????????????????"ns"?:?"tt.t1",??
  20. ????????????????"expireAfterSeconds"?:?3600??
  21. ????????}??
  22. ]??
修改TTL索引的expireAfterSeconds屬性值：
注：如果想更改過期時間expireAfterSeconds，可以使用collMod方法，要不然你只能只用dropIndex(),createIndex()方法重建索引了，我想這樣的方法在億級數據量下是很頭疼的
[sql]?view plaincopy
  1. db.runCommand(?{?collMod:?"log_events",?????---集合名??
  2. ????????????????index:?{?keyPattern:?{?createTime:?1?},?????---createTime為具有TTL索引的字段名??
  3. ??????????????????????????expireAfterSeconds:?7200??????????---修改后的過期時間(秒)??
  4. ????????????????????????}})??
雖然上面的方法可以實現自動過期刪除，但是如果白天業務很忙，頻繁的刪除數據勢必會增加負載，所以我想著晚上定時刪除過期數據（如果晚上業務量少的話）
方法如下：
增加一個expireTime字段（用于指定過期時間），expireAfterSeconds屬性值設置為0，
注：上面的createTime字段就不需要再有TTL索引了，這個expireTime的時間就需要在插入時指定上
[sql]?view plaincopy
  1. >db.log_events.createIndex(?{?"expireTime":?1?},?????---字段名稱??
  2. ????????????????????????????????{?expireAfterSeconds:?0?}?)?????---過期時間（單位秒）??
  3. >db.log_events.insert(?{??
  4. ??"expireTime":?new?Date('Jan?22,?2016?23:00:00'),?????---此文檔將在2016-1-22的23點自動刪除??
  5. ??"logEvent":?2,??
  6. ??"logMessage":?"Success!"}?)??


這樣我們就實現了，指定時間自動刪除的動作了

一、TTL索引

創建方法db.collection.createIndex(keys, options)options:expireAfterSeconds 指定多少秒或者包含日期值的數組創建示例db.eventlog.createIndex( { "lastModifiedDate": 1 }, { expireAfterSeconds: 3600 } ) 何時失效 在指定的時間達到后失效，也即是索引字段的值加上一個特定的秒數之后 如果索引字段是一個數組，即索引字段上存在著多個日期值，此時MongoDB取最小值加上失效時間(lowest()) 對于非日期字段或不包含日期數組的索引字段，文檔不會失效 對于不包含索引字段的文檔，文檔不會失效 刪除操作 mongod的一個后臺線程會讀取索引的值并將失效的文檔從集合移除 當TTL線程被激活后，可以從db.currentOp()或者從profile觀察到刪除操作 何時刪除 當基于后臺方式創建索引時，TTL線程能夠在索引創建期間開始刪除失效文檔 當基于前臺方式創建索引時，TTL線程在索引創建完成后開始刪除失效文檔 TTL索引的刪除不能完全保證失效期后一定刪除，存在一定延遲(取決于mongod的工作負載) TTL刪除文檔后臺線程每60s移除失效文檔(因此可能存在已過失效期，文檔還在的情形) 在副本集環境中，TTL后臺線程僅僅在主副本上工作，輔助副本上由復制操作實現 在使用TTL索引查詢時，與使用非TTL索引一樣 一些限制 不能基于已經存在索引的字段創建TTL索引以及非日期字段創建TTL索引，文檔不會失效 TTL索引不支持基于多個字段的復合索引 不支持定長集合

二、TTL索引示例

# mongo --shell localhost:27000 TTLData.js  
MongoDB shell version: 3.2.11 connecting to: localhost:27000/test repSetTest:PRIMARY> addTTLTestData()  //添加集合數據 Create three records in database each with a create time that is 1 minute apart Created three test documents, oldest being 4 mins old Now create a TTL index with expiry of 5 mins on the createDate field as follows db.ttlTest.ensureIndex({createDate:1}, {expireAfterSeconds:300}) repSetTest:PRIMARY> db.ttlTest.find()  //當前向集合里插入了3個文檔 { "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") } { "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") } { "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }  //下面為測試集合上的文檔添加索引，即5分鐘后索引失效 repSetTest:PRIMARY> db.ttlTest.createIndex({createDate:1}, {expireAfterSeconds:300}) { "createdCollectionAutomatically" : false, "numIndexesBefore" : 1,  // Author : Leshami "numIndexesAfter" : 2,  // Blog : http://blog.csdn.net/leshami "ok" : 1 }  //查找文檔 repSetTest:PRIMARY> db.ttlTest.find() { "_id" : 1, "createDate" : ISODate("2017-03-10T03:23:01.169Z") } { "_id" : 2, "createDate" : ISODate("2017-03-10T03:24:01.169Z") } { "_id" : 3, "createDate" : ISODate("2017-03-10T03:25:01.169Z") }  //當指定時間到期后，文檔被刪除，如下，查詢不到任何文檔 repSetTest:PRIMARY> db.ttlTest.find()
?

轉載于:https://www.cnblogs.com/liqing1009/p/8421621.html

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/news/278452.shtml
繁體地址，請注明出處：http://hk.pswp.cn/news/278452.shtml
英文地址，請注明出處：http://en.pswp.cn/news/278452.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！

相關文章

Linux Centos下SQL Server 2017安裝和配置

Linux Centos下SQL Server 2017安裝和配置

Linux Centos下SQL Server 2017安裝和配置 原文:Linux Centos下SQL Server 2017安裝和配置我們知道在Linux下安裝服務有很多方式，最為簡單的也就是yum安裝，但是很多服務通過yum是無法安裝的，如果想使用yum安裝，需要指定yum安裝倉庫…
閱讀更多...
如何在Linux上使用端口敲門（以及為什么不應該這樣做）

如何在Linux上使用端口敲門（以及為什么不應該這樣做）

Photographee.eu/ShutterstockPhotographee.eu/ShutterstockPort knocking is a way to secure a server by closing firewall ports—even those you know will be used. Those ports are opened on demand if—and only if—the connection request provides the secret knoc…
閱讀更多...
小到年貨大到產業，劉村長的扶貧模式有點厲害！

小到年貨大到產業，劉村長的扶貧模式有點厲害！

河北省阜平縣平石頭村的村民，今年春節再也不用頭疼買什么年貨，去哪買年貨的問題了，因為他們的“村長”劉強東，給每戶人家都送來了年貨大禮包！大禮包里不僅有牛奶、果汁、毛衣、長褲、波司登羽絨服、枕頭、毛巾、炊大皇…
閱讀更多...
java - 匿名類

java - 匿名類

匿名內部類 概念：即內部類的簡化寫法 前提：存在一個類（可以是具體類也可以是抽象類）或接口 格式：new 類名或接口名{重寫的方法} 本質：創建的是繼承了類或實現了接口的子類匿名對 象。 匿名類總是final&…
閱讀更多...
leetcode 342. Power of Four

leetcode 342. Power of Four

沒想出來不用循環的。記錄下。 如果是2的次方&#xff0c;必有num & (nums - 1) bool isPowerOfFour(int num) {if (num < 1) return false;if (num & (num - 1)) return false; // 排除不是2的倍數if (num & 0x55555555) return true; // 排除不是4的倍數&am…
閱讀更多...
克隆ubuntu硬盤_使用Ubuntu Live CD克隆硬盤

克隆ubuntu硬盤_使用Ubuntu Live CD克隆硬盤

克隆ubuntu硬盤Whether you’re setting up multiple computers or doing a full backup, cloning hard drives is a common maintenance task. Don’t bother burning a new boot CD or paying for new software – you can do it easily with your Ubuntu Live CD. 無論是設置…
閱讀更多...
頁面緩存處理的幾種方法

頁面緩存處理的幾種方法

html只要加在頭部就可以了. <HEAD> <META HTTP-EQUIV"Pragma" CONTENT"no-cache"> <META HTTP-EQUIV"Cache-Control" CONTENT"no-cache"> <META HTTP-EQUIV"Expires" CONTENT"0"> </H…
閱讀更多...
Nginx的Mainline version、Stable version、Legacy version的版本區別

Nginx的Mainline version、Stable version、Legacy version的版本區別

Nginx官網提供了三個類型的版本Mainline version&#xff1a;Mainline 是 Nginx 目前主力在做的版本&#xff0c;可以說是開發版Stable version&#xff1a;最新穩定版&#xff0c;生產環境上建議使用的版本Legacy versions&#xff1a;遺留的老版本的穩定版 nginx下載地址&…
閱讀更多...
從Boxee的Amie Street訪問音樂

從Boxee的Amie Street訪問音樂

One of our favorite sites for discovering new music is Amie Street. Today we take a look at the Amie Street app for Boxee that allows you to access your favorite tunes from the Boxee interface. 我們最喜歡的發現新音樂的網站之一是Amie Street。 今天&#xff0…
閱讀更多...
redis學習目錄

redis學習目錄

redis學習目錄 redis安裝 說明 python中使用 centos7安裝redis redis.conf配置信息詳解 redis主從同步 redis持久化 RDB與AOF redis不重啟,切換到RDB備份到AOF備份 redis哨兵功能 redis-cluster(集群) 轉載于:https://www.cnblogs.com/yuncong/p/10293624.html
閱讀更多...
如何在SpringBoot項目中使用攔截器

如何在SpringBoot項目中使用攔截器

相比springmvc&#xff0c;springboot中攔截器不需要在xml中配置&#xff0c;只需定義攔截器類 implements HandlerInterceptor 和攔截器攔截路徑的配置類extends WebMvcConfigurerAdapter 1.SessionInterceptor package com.example.demo;import org.springframework.web.serv…
閱讀更多...
如何在Word，Excel和PowerPoint 2010中裁剪圖片

如何在Word，Excel和PowerPoint 2010中裁剪圖片

When you add pictures to your Office documents you might need to crop them to remove unwanted areas, or isolate a specific part. Today we’ll take a look at how to crop images in Office 2010. 將圖片添加到Office文檔時&#xff0c;可能需要裁剪它們以刪除不需要…
閱讀更多...
Python 調度算法 死鎖 靜動態鏈接 分頁分段

Python 調度算法 死鎖 靜動態鏈接 分頁分段

1 select poll epoll的區別基本上select有3個缺點: 連接數受限查找配對速度慢數據由內核拷貝到用戶態poll改善了第一個缺點 epoll改了三個缺點. (1&#xff09;select&#xff0c;poll實現需要自己不斷輪詢所有fd集合&#xff0c;直到設備就緒&#xff0c;期間可能要睡眠和喚醒…
閱讀更多...
在Windows 7 Media Center中創建音樂播放列表

在Windows 7 Media Center中創建音樂播放列表

One of the new features in Windows 7 Media Center is the ability to easily create music playlists without using Media Player. Today we’ll take a closer look at how to create them directly in Media Center. Windows 7 Media Center的新功能之一是無需使用Media …
閱讀更多...
(轉)WebSphere的web工程中怎么獲取數據源

(轉)WebSphere的web工程中怎么獲取數據源

原文&#xff1a;http://aguu125.iteye.com/blog/1694313 https://blog.csdn.net/bigtree_3721/article/details/44900325-------JNDI之java:comp/env was配置數據源和tomcat是不同的。tomcat只需要配置tomcat 的service.xml或者content.xml&#xff0c;然后 WEB程序就不需要配…
閱讀更多...
阿里數據庫內核月報：2017年04月

阿里數據庫內核月報：2017年04月

摘要&#xff1a;阿里數據庫內核月報&#xff1a;2017年04月# 01 MySQL 源碼分析 MySQL 半同步復制數據一致性分析# 02 MYSQL 新特性 MySQL 8.0對Parser所做的改進# 03 MySQL 引擎介紹 Sphinx源碼剖析&#xff08;二&#xff09;# 04 PgSQL 特性分析 checkpoint機制淺析…
閱讀更多...
SQL Server2008導入導出數據庫

SQL Server2008導入導出數據庫

一、導出數據庫 1.新建一個.bak的文本 右擊數據庫--》Tasks--》BackUp--》Remove原來的數據庫--》Add后選擇之前建立的.bak檔 二、導入數據庫 1.右擊數據庫--》Tasks--》Restore--》Database--》From device--》勾選數據庫之后--》點擊左上角Options--》點擊 --》OK覆蓋 轉載于…
閱讀更多...
如何使YouTube視頻連續循環播放

如何使YouTube視頻連續循環播放

Should you need a YouTube video on a continuous loop, a few methods can help you keep repeating a video without having to start it over manually. Here’s how to do it. 如果您需要連續循環播放YouTube視頻&#xff0c;可以采用以下幾種方法來繼續播放視頻&#xff…
閱讀更多...
Android ABI

Android ABI

2019獨角獸企業重金招聘Python工程師標準>>> 獲取當前ABI var supportsABIs:Array<String>? null if(Build.VERSION.SDK_INT > 21) {supportsABIs Build.SUPPORTED_ABIS } var currentABI Build.CPU_ABI 通過Build可以獲取當前手機支持的abi集以及cpu的…
閱讀更多...
nginx限流健康檢查

nginx限流健康檢查

Nginx原生限流模塊:ngx_http_limit_conn_module模塊根據前端請求域名或ip生成一個key&#xff0c;對于每個key對應的網絡連接數進行限制。配置如下:http模塊server模塊#http模塊內 http {include mime.types;default_type application/octet-stream;log_format main [$t…
閱讀更多...
最新文章

Copyright @ 2022~2023