工作中,发现Oracle数据库表中有许多重复的数据,而这个时候老板需要统计表中有多少条数据时(不包含重复数据),只想说一句MMP,库中好几十万数据,肿么办,无奈只能自己在网上找语句,最终成功解救,下面是我一个实验,很好理解。

假设有一张人员信息表cs(姓名,证件号,地址),将表中三个字段数据都重复的数据筛选出来:

33364a71820de65e97718c04f609cc0a.png

distinct:这个关键字来过滤掉多余的重复数据只保留一条数据

select * from from cs  ------所有字段

select distinct xm,zjh,dz from cs;  -----指定字段

4a4a9cfa43189829dab3b2009b48252e.png

在实践中往往只用它来返回不重复数据的条数,因为distinct对于一个数据量非常大的库来说,无疑是会直接影响到效率的。

-----------------------------------------------------------------------------------------------------------------------

查询重复数据、删除重复数据的方法如下:↓    ↓    ↓   ↓   ↓   ↓   ↓   ↓

①rowid用法: oracle带的rowid属性,进行判断是否存在重复数据。

查询重复数据:

select a.* from cs a where rowid !=(select max(rowid) from cs b where a.xm=b.xm and a.zjh=b.zjh and a.dz=b.dz)

a465e3174e77ea9594d47908734914c7.png

删除重复数据:

delete from cs a where rowid !=(select max(rowid) from cs b where a.xm=b.xm and a.zjh=b.zjh and a.dz=b.dz)

764a8e7afe6ab5cffaa52ef785805a9b.png

②group by :一般用于将查询结果分组,多配合聚合函数,sum,count,min,max,having等一起使用。

查询重复数据:

select max(xm),max(zjh),max(dz),count(xm) as 记录数 from cs group by xm having count(xm)>1    ---------适用于字段少的

3ac3949cf438ff87e59a3d9f8d2434ce.png

select *  from cs a where (a.xm,a.zjh,a.dz) in (select xm,zjh,dz from cs group by xm,zjh,dz having count(*)>1)

and rowid not in (select min(rowid) from cs group by xm,zjh,dz  having count(*)>1)   -------适用于多字段

f55d779be6e4219380ed07b25cea26bc.png

去重重复数据:多个字段,只留有rowid最小的记录 。

delete from cs a where (a.xm,a.zjh,a.dz) in (select xm,zjh,dz from cs group by xm,zjh,dz having count(*)>1) and rowid not in (select min(rowid) from cs group by xm,zjh,dz having count(*)>1)

be8ba943c9adf767b5711775b3021cc6.png

③row_number()over(partition by 列)

select  xm,zjh,dz,row_number()over(partition by zjh order by xm) 记录号 from cs

35c8f6ec1288076f250b75522933a797.png

去重重复数据:

with cs1 as (select  xm,zjh,dz,row_number()over(partition by zjh order by zjh) 记录号 from cs)select * from cs1 where 记录号=1

ff4050554ae8738770f32dab7a23f6b9.png

0b1331709591d260c1c78e86d0c51c18.png

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐