Mongodb指定字段去重后返回所有数据(原生语句实现)
需求:根据指定字段去重返回所有数据
- 首当其冲想到的是Distinct关键字
- 语法
db.collection.distinct(
field,
query,
options
)
distinct方法包含三个参数,field表示要检索唯一值的字段,query表示检索时使用的查询语句,options包括projection和sort等选项。
- 直接上查询截图
db.getCollection("TestCode").distinct("Fields.param0",
{ $and : [{"Machines" : /.*天平.*/i},
{"ProductName" : { $ne : "停用" }}] }
)

只出现了去重字段的1列数据,这不是需要的结果。
- 然后想到了分组
- 三种分组方式
-
- group(效率不高,先筛选然后分组,不支持分片,对数据量有所限制)
- mapreduce(效率较低,基于js引擎,单线程执行,用来后台统计数据)
- aggregate(效率高,性能好,使用简单)
- 直接上第三种(原来是一个函数)
MongoDB 中聚合(aggregate)主要用于处理数据(诸如统计平均值,求和等),并返回计算后的数据结果。
有点类似 SQL 语句中的 count(*)。
语法:
db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式:处理输入文档并输出。表达式是无状态的,只能用于计算当前聚合管道的文档,不能处理其它的文档。
这里我们介绍一下聚合框架中常用的几个操作:
- $project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
- $match:用于过滤数据,只输出符合条件的文档。$match使用MongoDB的标准查询操作。
- $limit:用来限制MongoDB聚合管道返回的文档数。
- $skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
- $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
- $group:将集合中的文档分组,可用于统计结果。
- $sort:将输入文档排序后输出。
- $geoNear:输出接近某一地理位置的有序文档。
- 直接上查询结果
db.getCollection("TestCode").aggregate([
{$match:{ $and : [{"Machines" : /.*天平.*/i},
{"ProductName" : { $ne : "停用" }}] }},
{$group:{_id : "$Fields.param0",data:{$first:"$$ROOT"}}},
{$project:{data:1,}}
])
注.数据在data里面点开其中一个就是表中所有数据
至此,需求结束。
- 排序、分页
- 直接上截图
db.getCollection("TestCode").aggregate([
{$match:{ $and : [{"Machines" : /.*天平.*/i},
{"ProductName" : { $ne : "停用" }}] }},
{$group:{_id : "$Fields.param0",data:{$first:"$$ROOT"}}},
{$project:{data:1,}},
{"$sort":{"CreateTime":-1}}, //排序
{"$skip":0},{"$limit":10}//分页
])

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。
更多推荐


所有评论(0)