关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » MySQL »拆表用的MySQL存储过程

    拆表用的MySQL存储过程

    2010-11-22 14:47:00 出处:ITJS
    分享

    MySQL存储过程用途很广泛,下面就为您介绍拆表用的MySQL存储过程,希望对您学习MySQL存储过程方面能够有所帮助。

    mysql表或分表的数据达到一定量(也许是800w或者1000w..)这个时候非常需要再分表,简单的办法是直接写

    --假设根据user_id分表,分成64张

    insert into table_new_0000 select * from table_old where mod(user_id,64)=0;  insert into table_new_0001 select * from table_old where mod(user_id,64)=1;  ...  

    一共64条sql,OK 搞定。  但是这个一张表被全表扫描了64次,做的无用功比较多,而且导致停机时间比较长。

    虽然MySQL存储过程不是很熟,稍稍学习了下写了两个脚本,一个全量+一个增量脚本完成表的拆分。

    线上库也实践了下,8个分表,每个分表1000W记录拆分到64个分表。

    全量 时间 150分钟,全量的时候几个分表可以一起跑,我是同时跑3个分表

    增量 时间 每个分表4分钟 4个一起跑,一共是 8分钟搞定。 这样停机时间加上应用的发布一共只需要20分钟就可以搞定了。

    附脚本:

    ###################

    delimeter //

    -----------

    --- 全量脚本:

    CREATE PROCEDURE  sp_xf_move_item()  begin  declare v_exit int default 0;  declare v_spid bigint;  declare v_id bigint;  declare i int default 0;  declare c_table int;  

    --定义游标(要分拆的表,定义一个数量的截止时间)

    declare c_ids cursor for select id,user_id from item_records_0000 where gmt_modified < '2010-8-25 00:00:00';  declare  continue handler for not found set v_exit=1;  open c_ids;  repeat  

    --将需要的值装入变量

    fetch c_ids into v_id,v_spid;  if v_exit = 0 then  set @vv_id = v_id;  

    --根据取模字段获取数据存在的表

    select mod(v_spid,64) into c_table;  

    --组装动态sql

    SET @SQL_CONTEXT =  CONCAT('insert into item_record_',  LPAD(c_table, 4, 0),  ' select * from item_records_0000 where id =  ');   PREPARE STMT FROM @SQL_CONTEXT;  --执行sql  EXECUTE STMT using @vv_id;  DEALLOCATE PREPARE STMT;  end if;  set ii=i+1;   

    --100条提交一次,以提高效率,记得执行存储过程前设置auto_commit

    if mod(i,100)=0 then commit;  end if;  until v_exit=1 end repeat;  close c_ids;  commit;  end;  //   -----------  set auto_commit=0;  call  sp_xf_move_item();   #### 增量脚本 ######   CREATE PROCEDURE sp_xf_add_item()  begin  declare v_exit int default 0;  declare v_spid bigint;  declare v_id bigint;  declare i int default 0;  declare c_table int;  declare c_ids cursor for select id,supplier_id from item_records_0000 where gmt_modified >= '2010-8-25 00:00:00';  declare  continue handler for not found set v_exit=1;  open c_ids;  repeat   fetch c_ids into v_id,v_spid;  if v_exit = 0 then  set @vv_id = v_id;  set @v_row=0;  select mod(v_spid,64) into c_table;   

    --判断数据是否已经存在

    SET @SQL_C =  CONCAT('select count(*) into @v_row from item_record_',  LPAD(c_table, 4, 0),  ' where id =  ');   PREPARE STMT_C FROM @SQL_C;  EXECUTE STMT_C using @vv_id;  DEALLOCATE PREPARE STMT_C;                          SET @SQL_INSERT =  CONCAT('insert into bbc_item_record_',  LPAD(c_table, 4, 0),  ' select * from item_records_0000 where id =  ');   PREPARE STMT_I FROM @SQL_INSERT;            SET @SQL_DELETE =  CONCAT('DELETE FROM bbc_item_record_',  LPAD(c_table, 4, 0),  ' where id =  ');  PREPARE STMT_D FROM @SQL_DELETE;       

    --如果数据已经存在,则先delete在insert             

    if @v_row>0 then    EXECUTE STMT_D using @vv_id;  DEALLOCATE PREPARE STMT_D;   end if;  EXECUTE STMT_I using @vv_id;  DEALLOCATE PREPARE STMT_I;          end if;  set ii=i+1;  if mod(i,100)=0 then commit;  end if;  until v_exit=1 end repeat;  close c_ids;  commit;  end;  //   -------   

    如果全量和增量之间的时间拖的比较长,那么可以设置时间,多做几次增量已缩短最后的停机时间,你懂的。。。

    call sp_xf_add_item()//

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    抖音安全与信任开放日:揭秘推荐算法,告别单一标签依赖

    ultraedit编辑器打开文件时,总是提示是否转换为DOS格式,如何关闭?

    Cornell大神Kleinberg的经典教材《算法设计》是最好入门的算法教材

    从 Microsoft 下载中心安装 Windows 7 SP1 和 Windows Server 2008 R2 SP1 之前要执行的步骤

    Llama 2基于UCloud UK8S的创新应用

    火山引擎DataTester:如何使用A/B测试优化全域营销效果

    腾讯云、移动云继阿里云降价后宣布大幅度降价

    字节跳动数据平台论文被ICDE2023国际顶会收录,将通过火山引擎开放相关成果

    这个话题被围观超10000次,火山引擎VeDI如此解答

    误删库怎么办?火山引擎DataLeap“3招”守护数据安全

    IT头条

    平替CUDA!摩尔线程发布MUSA 4性能分析工具

    00:43

    三起案件揭开侵犯个人信息犯罪的黑灰产业链

    13:59

    百度三年开放2.1万实习岗,全力培育AI领域未来领袖

    00:36

    工信部:一季度,电信业务总量同比增长7.7%,业务收入累计完成4469亿元

    23:42

    Gartner:2024年全球半导体营收6559亿美元,AI助力英伟达首登榜首

    18:04

    技术热点

    iOS 8 中如何集成 Touch ID 功能

    windows7系统中鼠标滑轮键(中键)的快捷应用

    MySQL数据库的23个特别注意的安全事项

    Kruskal 最小生成树算法

    Ubuntu 14.10上安装新的字体图文教程

    Ubuntu14更新后无法进入系统卡在光标界面解怎么办?

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。