欢迎来访李梅博客,希望看的开心!

最新文章 标签集合 在线留言 申请友链 管理登录

当前位置:首页 > MySQL > 多张表中数据组合后插入新表的方法

多张表中数据组合后插入新表的方法

以mysql为例。

遇到这个问题的时候最先想到的方法就是先从各个表中查询出相应的数据后使用程序循环遍历组装后在插入到数据库中。这是最直观的解决办法,但是这个方法处理超大结果集的时候就出现问题,例如:超出内存限制,运行时间过长等等。。。

这时使用另外一种方法应该会有帮助,那就是使用mysql的on duplicate key update方法来分步骤组合数据。

现在有3张表a,b,c。每个表的结构如下:

a表包含字段:id,a,b,c;

b表包含字段:aID,d,e,f;字段aID对应表a中的id

c表包含字段:aID,a,b,c,d,e,f;字段aID对应表a中的id

现在要把a表和b表中的数据组合后插入到c表中,其中a和b均包含1000W+的数据,如果采用查询-》组装-》插入数据库的方式,在查询步骤和组装步骤均会超出内存限制。

这是可以采用如下步骤:

  1. 从a中查询出符合条件的数据后插入到c中。例如:

    INSERT INTO c (c.aID,c.a,c.b,c.c) SELECT a.id,a.a,a.b,a.c FROM a WHERE a.id<5000000

    执行完成大约用时40秒

  2. 从b表中查询出符合条件的数据后插入到c中。例如:

    INSERT INTO c (c.aID,c.d,c.e,c.f) SELECT b.aID,b.d,b.e,b.f FROM b WHERE b.aID<5000000 ON duplicate KEY UPDATE c.d=VALUES(c.d),c.e=VALUES(c.e),c.f=VALUES(c.f)

    执行完成大约用时50多秒

这样就把a和b中的数据组合插入到了c中。

除特别注明外,本站所有文章均为李梅 ’BLOG原创,转载请注明出处来自https://www.xslds.com/post/137.html

«   2019年9月   »
1
2345678
9101112131415
16171819202122
23242526272829
30
网站分类
  • (1).阿里云服务器【产品幸运券】
  • (2).阿里云服务器【产品幸运券】
  • 作者列表
    最新留言
    最近发表
    文章归档
    站点信息
    • 文章总数:234
    • 页面总数:4
    • 分类总数:22
    • 标签总数:522
    • 评论总数:605
    • 浏览总数:3946384

    分享:

    支付宝

    微信