sql删除重复数据的详细方法

这篇文章主要为大家详细介绍了sql删除重复数据的详细方法，具有一定的参考价值，可以用来参考一下。

对此感兴趣的朋友，看看idc笔记做的技术笔记！

一. 删除完全重复的记录

完全重复的数据，通常是由于没有设置主键/唯一键约束导致的。测试数据：

代码如下:

if OBJECT_ID('duplicate_all') is not null
drop table duplicate_all 
GO 
create table duplicate_all 
( 
c1 int, 
c2 int, 
c3 varchar(100) 
) 
GO 
insert into duplicate_all 
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 2,200,'bbb' union all
select 3,300,'ccc' union all
select 4,400,'ddd' union all
select 5,500,'eee'
GO

(1) 借助临时表

利用DISTINCT得到单条记录，删除源数据，然后导回不重复记录。如果表不大的话，可以把所有记录导出一次，然后truncate表后再导回，这样可以避免delete的日志操作。

代码如下:

if OBJECT_ID('tempdb..#tmp') is not null
drop table #tmp 
GO 
select distinct * into #tmp 
from duplicate_all 
where c1 = 1 
GO 
delete duplicate_all where c1 = 1 
GO 
insert into duplicate_all 
select * from #tmp

代码如下:

with tmp 
as
( 
select *,ROW_NUMBER() OVER(PARTITION BY c1,c2,c3 ORDER BY(getdate())) as num 
from duplicate_all 
where c1 = 1 
) 
delete tmp where num > 1

如果多个表有完全重复的行，可以考虑通过UNION将多个表联合，插到一个新的同结构的表，SQL Server会帮助去掉表和表之间的重复行。

二. 删除部分重复的记录

部分列重复的数据，通常表上是有主键的，可能是程序逻辑造成了多行数据列值的重复。测试数据：

代码如下:

if OBJECT_ID('duplicate_col') is not null
drop table duplicate_col 
GO 
create table duplicate_col 
( 
c1 int primary key, 
c2 int, 
c3 varchar(100) 
) 
GO 
insert into duplicate_col 
select 1,100,'aaa' union all
select 2,100,'aaa' union all
select 3,100,'aaa' union all
select 4,100,'aaa' union all
select 5,500,'eee'
GO

(1) 唯一索引

唯一索引有个忽略重复建的选项，在创建主键约束/唯一键约束时都可以使用这个索引选项。

代码如下:

if OBJECT_ID('tmp') is not null
drop table tmp 
GO 
create table tmp 
( 
c1 int, 
c2 int, 
c3 varchar(100), 
constraint UQ_01 unique(c2,c3) with(IGNORE_DUP_KEY = ON) 
) 
GO 
insert into tmp 
select * from duplicate_col 
select * from tmp

代码如下:

delete from duplicate_col 
where exists(select 1 from duplicate_col b where duplicate_col.c1 > b.c1 and (duplicate_col.c2 = b.c2 and duplicate_col.c3 = b.c3)) 

代码如下:

delete from duplicate_col 
where c1 not in (select min(c1) from duplicate_col group by c2,c3)

代码如下:

with tmp 
as
( 
select *,ROW_NUMBER() OVER(PARTITION BY c2,c3 ORDER BY(getdate())) as num 
from duplicate_col 
) 
delete tmp where num > 1 
select * from duplicate_col

注：关于sql删除重复数据的详细方法的内容就先介绍到这里，更多相关文章的可以留意