数据库根据指定字段去重的案例分析

发布时间:2020-11-18 14:29:21 作者:小新
来源:亿速云 阅读:192

这篇文章主要介绍了数据库根据指定字段去重的案例分析,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

需求:对一张用户表根据name/email/card_num字段去除重复数据;

思路:用group by方法可以查询出'去重'后的数据,将这些数据存储到一张临时表中,然后将临时表的数据存储到指定的表中;

误区及解决方案:group by方法只能获取部分字段(去重指定字段),不能一次获取到完整的数据,但是可以通过max函数获取group by结果集中的id,再根据id集合查询出全部的记录。

测试思路

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users  GROUP BY name,email,card_num) as T;

SELECT * from users  where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

实际方法

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

insert into users_copy1 select * from tmp_data;

检测

select count(*) from users_copy1;

测试结果:1.4w条数据中有2300条数据重复,实际运行结果为0.7s,基本满足现在的需求。

感谢你能够认真阅读完这篇文章,希望小编分享数据库根据指定字段去重的案例分析内容对大家有帮助,同时也希望大家多多支持亿速云,关注亿速云行业资讯频道,遇到问题就找亿速云,详细的解决方法等着你来学习!

推荐阅读:
  1. 怎样根据某个字段去重,取得单据内码
  2. MySQL如何去重

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。

mysql 数据库

上一篇:node.js有什么用

下一篇:学会linux可以找哪些工作

相关阅读

您好,登录后才能下订单哦!

密码登录
登录注册
其他方式登录
点击 登录注册 即表示同意《亿速云用户服务条款》