甜橘子，专注成都网站制作网站设计与营销型网站建设与优化
QQ :532337155
电话：028-86922220
可以利用distinct关键字对需要处理的字段进行去重
盘山网站制作公司哪家好，找成都创新互联公司！从网页设计、网站建设、微信开发、APP开发、自适应网站建设等网站项目制作，到程序开发，运营维护。成都创新互联公司从2013年成立到现在10年的时间，我们拥有了丰富的建站经验和运维经验，来保证我们的工作的顺利进行。专注于网站建设就选成都创新互联公司。
使用group by关键字对去重数据进行去重查询，针对某个字段查询，直接group by 这个字段
在group by 的基础上 也可以使用 having 对查询结果进行二次筛选
MySQL 过滤重复数据
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。
from 树懒学堂- 一站式数据知识学习平台
你也可以使用 GROUP BY 来读取数据表中不重复的数据：
MySQL 删除重复数据
有些 MySQL 数据表中可能存在重复的记录，有些情况我们允许重复数据的存在，但有时候我们也需要删除这些重复的数据。
本章节我们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据。
删除重复数据
如果你想删除数据表中的重复数据，你可以使用以下的SQL语句：
from 树懒学堂 - 一站式数据知识平台
当然你也可以在数据表中添加 INDEX（索引） 和 PRIMAY KEY（主键）这种简单的方法来删除表中的重复记录。方法如下：
首先是将数据库里边的重复记录删掉，我看网上有好多答案是这样的：
1 delete from people
2 where peopleId in (select peopleId from people group by peopleId having count(peopleId) 1)
3 and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )1)
但其实我每次运行这条语句都是行不通的，会报错：
SQL 错误 [1093] [HY000]: You can't specify target table 'test1' for update in FROM clause
java.sql.SQLException: You can't specify target table 'test1' for update in FROM clause
去网上查过好像是说update以及delete操作没办法跟查询操作一起做的，我看过有的更新的跟查询的一起做的好像是给查出来的那部分起个别名，然后进行更新就可以了，但是删除这个我起了别名也不对，不知道是我写错还是不行，我就跳过这个方法了。
我用的方法是：先查出数据库中的重复记录的数据中的一条，这个不难，很简单的，sql语句如下：
select * from test1 where name in (select name from test1 group by name having count(name) 1)
and id in (select min(id) from test1 group by name having count(name)1)
结果如下：
id |name |phont |
---|--------|-------|
1 |name22 |123 |
3 |name222 |123 |
5 |name2 |123123 |
8 |123 |123123 |
11 |name1 |123123 |
13 |111 |1231 |
14 |112 |1232 |
这些都是不重复的，换句话说都是要保留的，不被删掉的，而其余与这些结果中name相同的应该被删掉。
也就是说将上边那个sql语句id后边加一个not ，查出来的结果就是要删掉的：结果如下
id |name |phont |
---|--------|-------|
2 |name22 |123 |
4 |name222 |123 |
6 |name2 |123123 |
7 |name2 |NULL |
9 |123 |123123 |
10 |123 |123123 |
12 |name1 |123123 |
15 |111 |1233 |
16 |112 |1234 |
17 |111 |1235 |
18 |112 |1236 |
我把这些需要删掉的存到另外一个表里，然后我新建一个test2表，结构复制test1的结构就好了
1 CREATE TABLE `test2` (2 `id` int(11) NOT NULL AUTO_INCREMENT,3 `name` varchar(50) DEFAULT NULL,4 `phont` varchar(50) DEFAULT NULL,5 PRIMARY KEY (`id`)6 ) ENGINE=InnoDB DEFAULT CHARSET=utf8
然后插入语句是：
1 insert into test2(2 select * from test.test1 where name in (select name from test.test1 group by name having count(name) 1)
3 and id not in (select min(id) from test.test1 group by name having count(name)1)
4 )
然后test2的表里的数据就是下图这样的：
那接下来做的就是删掉test1表里边与test2表的id相同的数据。
1 delete a.* from test1 a, test2 b where a.id = b.id ;
这样，test1里边的数据就变成了：
这样的结果就是完全不重复的，但是我还想要他们的id是连续的，而不是这样的断开的。
我的做法是将这个表的除掉id之外的所有字段查出插入到另外一个表test3中，当然，test3要设置id为自增主键，但是不插入id，让它自增，就连续了
当然要新建表test3啦，不过把上边新建的test2那个复制下来改名字为test3就好啦。
然后插入：
1 insert into test3(name, phont)2 (select name, phont from test2)
test3表里的结果就是：
这样就可以把test3改成你想要的名字，然后删掉test1和test2了，大功告成~
不过感觉还可以就是将已经删掉重复数据的表test1的数据全都导出来，一般的数据库连接工具都有这样的功能，导成sql格式的，然后新建一个表，比test1多增一个自增主键字段叫NewId字段，但是Id字段不能再自增了，然后将导成的sql文件导入，不过那个sql文件可能要编辑一下，改一下自增主键id变为普通的字段什么的，然后到新表了之后，删掉id字段，修改NewId为Id，应该也可以，但是这个方法我没试过，原先预想过要这么做但是没有这么做，估计以后可以试试，但是感觉两种的麻烦程度都差不多啊，但是如果将sql语句写下来之后可能还是第一种方法比较快一点吧。
通常情况下，一个我们在做一个产品的时候，一开始可能由于设计考虑不周或者程序写的不够严谨，某个字段上的值产生重复了，但是又必须去掉，这个时候就稍微麻烦了一点，直接加一个 UNIQUE KEY 肯定是不行了，因为会报错。
现在，我们来采用一种变通的办法，不过可能会丢失一些数据 :)
在这里，我们设定一个表，其结构如下：
mysql desc `user`;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| name | char(10) | NO | | | |
| extra | char(10) | NO | | | |
+-------+------------------+------+-----+---------+----------------+
原来表中的数据假定有以下几条：
mysql SELECT * FROM `user`;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 2 | user2 | user2 |
| 3 | user3 | user3 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 6 | user3 | user6 |
| 7 | user6 | user7 |
| 8 | user2 | user8 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
1、将原来的数据导出
mysqlSELECT * INTO OUTFILE '/tmp/user.txt' FROM `user`;
2、清空数据表
mysqlTRUNCATE TABLE `user`;
3、创建唯一索引，并且修改 `name` 字段的类型为 BINARY CHAR 区分大小写
mysql ALTER TABLE `user` MODIFY `name` CHAR(10) BINARY NOT NULL DEFAULT '';
mysql ALTER TABLE `user` ADD UNIQUE KEY ( `name` );
现在来看看新的表结构：
mysql desc user;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(10) unsigned | NO | PRI | NULL | auto_increment |
| name | char(10) | NO | UNI | | |
| extra | char(10) | NO | | | |
+-------+------------------+------+-----+---------+----------------+
4、把数据导回去，在这里，有两种选择：新的重复记录替换旧的记录，只保留最新的记录 或者是 新的记录略过，只保留最旧的记录
mysql LOAD DATA INFILE '/tmp/user.txt' REPLACE INTO TABLE `user`;
Query OK, 10 rows affected (0.00 sec)
Records: 8 Deleted: 2 Skipped: 0 Warnings: 0
mysql SELECT * FROM USER;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 8 | user2 | user8 |
| 6 | user3 | user6 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 7 | user6 | user7 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
上面是采用 REPLACE 的方式，可以看到，导入过程中删掉了两条数据，结果验证确实是 新的重复记录替换旧的记录，只保留最新的记录。
现在，来看看用 IGNORE 的方式：
mysql LOAD DATA INFILE '/tmp/user.txt' IGNORE INTO TABLE `user`;
Query OK, 6 rows affected (0.01 sec)
Records: 8 Deleted: 0 Skipped: 2 Warnings: 0
mysql SELECT * FROM USER;
+----+-------+--------+
| id | name | extra |
+----+-------+--------+
| 1 | user1 | user1 |
| 2 | user2 | user2 |
| 3 | user3 | user3 |
| 4 | user4 | user4 |
| 5 | user5 | user5 |
| 7 | user6 | user7 |
| 9 | USER2 | user9 |
| 10 | USER6 | user10 |
+----+-------+--------+
看到了吧，确实是 新的记录略过，只保留最旧的记录。