我屮艸芔茻,mongo居然可以自动删除数据
在开始的时候还是走了一些弯路,主要是不知道要在date字段上建立索引,并且不知道60s 的运行间隔,导致研究了老半天,就是看不到数据删除。不过不重要,也算是学习了。
·
1、需求
最近在接入其他部门的数据,但是因为数据量太大,所以导致mongo中的数据暴涨,所以需要定期删除数据。
2、方案
- 方案1: 在机器上创建cron 定时任务,删除数据,
缺点:放在机器上不好管理
- 方案2: 在程序中起一个定时器删除数据
缺点:需要自己调job,然后还需要拉取所有的数据进行读取计算
- 方案3:使用mongodb 自带的TTL过期功能,毫无疑问,选择这个
3、Mongo TTL功能
1、功能实现
- 需要在文档中增加一个date 字段
- 创建一个单列索引,并且设置过期时间
2、举个例子
创建索引
db.log_events.createIndex( { "createdAt": 1 }, { expireAfterSeconds: 3600 } )
插入数据
db.log_events.insert( {
"createdAt": new Date(),
"logEvent": 2,
"logMessage": "Success!"
} )
3、原理解析
mongo也没有什么魔法,下面一起看下
1.可以看到mongo在date字段上创建了索引,这样在操作删除的时候只要读取索引数据就可以判断了
2.索引的过期时间是秒,也就是说在创建的索引上增加过期时间,如果超过当前时间就会删除,这个符合逻辑,也是这么做的,合理
3.mongo 在后台启动了一个线程,在后台线程中读取索引中的值并从集合中删除过期的数据
4.后台线程每60s运行一次,所以数据不会立即删除
4、注意点
_id字段不支持TTL索引- 某个字段已经存在非TTL单字段索引,则无法在同一字段上创建TTL索引
- 如果文档中的索引字段不是date或包含日期值的数组,文档将不会过期。
- 如果文档不包含索引字段,则文档将不会过期
总结
在开始的时候还是走了一些弯路,主要是不知道要在date字段上建立索引,并且不知道60s 的运行间隔,导致研究了老半天,就是看不到数据删除。
不过不重要,也算是学习了

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐



所有评论(0)