关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » SQL Server »详解SQL Server 2008复制分区清理数据

    详解SQL Server 2008复制分区清理数据

    2010-05-13 10:00:00 出处:ITJS
    分享

    推荐《SQL Server 2008深度应用》和《SQL Server入门到精通》两个专题让您更深刻的了解本文。

    场景:

    某种特定业务下,我们的部分业务数据可能只会保留比较短的时间,用来做临时处理。因为考虑高可用的特性,可能会利用 SQL Server的复制组件复制这种数据到另外的 类似前端,查询中心等数据库服务器,创建一个冗余副本。复制组件标记事务日志,追踪所有的Update,Insert,Delete操作。可是假如不定期清理这种表,那么在一个快速增长的环境下,表变的臃肿不堪,不仅仅浪费磁盘空间,而且给性能带来了负面影响。

    如:

    A临时数据中心   ---同步-->B 查询/其他业务中心,副本

    保证A不可用的时候,B的业务不依赖于A服务器,利用A同步过来的数据B自己直接处理。

    常见的解决方案:

    一、很简单的,我们可以想到,建立一个清理Job ,根据日期标识,确定删除的范围不出一点错误,比如我每天的晚上12:00以后清理昨天的数据,那么可能会构建这样的查询(朋友们,也许会说使用TRUNCATE ,准时的12:00来TRUNCATE掉,不过很不幸的是,SQL Server 复制是利用日志标记的方式来同步数据,而TRUNCATE语句不会被日志标记,所以TRUNCATE语句在复制表中是被禁用的)

    DELETE FROM dbo.t WHERE complete_time >= '2010-05-04' AND complete_time < '2010-05-05' 

    来删除5月4号的所有数据,可能上亿也可能更多。

    优化方案:因为考虑到存在带量的更新 删除 和插入操作,所以首先讲数据库设置成SIMPLE恢复模式,以最小化日志方式。

    由于DELETE单个语句是一个事务性的语句,要么全部成功,要么全部失败。那么可想假如删除的是亿级别的数据,那么日志增长,IO负荷非常的大。

    所以 可能优化DELETE 操作:

    WHILE 1=1  BEGIN     DELETE TOP(5000) FROM dbo.t      WHERE complete_time >= '2010-05-04' AND complete_time < '2010-05-05'     IF @@ROWCOUNT<5000           BREAK;  END 

    将删除操作,缩短成每5000行一批的数据来处理。

    缺点:因为存在复制,那么很显然,浪费了极多的带宽,特别在Internet这种环境下,利用VPN的连接,尤其浪费。VPN带宽十分的渺小。再者,在进行亿级的DELETE,时间耗费也是非常恐怖的,而且DELETE过程中,由于存在Range-X 范围排他锁,许多开发人员写的SQL Query没加上WITH(NOLOCK)或者需要事务处理的查询语句,都将被阻塞。

    二、删除复制,TRUNCATE表。我们可以直接删除复制的发布和订阅,然后讲两边的表都直接TRUNCATE掉,这种删除方式非常的高效,只不过,要确保其他新增的数据不被误删,也存在一定的风险,构思如下:

    A数据库 每天需要清理 前天数据,B服务器通过订阅PUSH获取同步数据。

    因此Job 的建立有点复杂,尤其 当12点突然宕机的时候,数据没有及时清理,或者12:00执行TRUNCATE的时候,下一天的00:00:01秒的数据被插入了,等等数据完整性问题,让我采用这个方案回避了。

    缺点:估计这个Job不怎么好写,首先是自动删除复制,重新创建复制,创建订阅,虽然利用Generate Script可以到处脚本,但是整个解决方案过于复杂了。

    新方案:进入主题了,在SQL Server 中分区表有一个非常 实用的语句ALTER TABLE …SWITCH,这个DDL可以快速的讲同文件组的表的某个分区迅速的转移到另外的表。(很显然,应该是利用数据的位置偏移量的指针的转移到新表的方法来实现的),这种方案转移数据非常迅速,因为不存在大量的IO操作,所以一般都是秒杀级别任意大数据量(假如当前表的索引等比较多,维护操作还是需要点时间的)。但是SQL Server 2005 是不支持在复制中使用SWITCH语句的(这点很郁闷,命名都可以跟踪DDL,为什么这个不能传送到订阅服务器,只要确认发布和订阅同时存在目标表和相同的分区方案不就好了,微软2005考虑不周啊)。

    但是前不久我在考虑我们每天亿级别的数据增长,清理数据方案变的十分迫切的时候,我发现SQL Server 2008支持这种操作。接下来的SQL server内容就开始整个Solution吧:

    开始方案前,大家其实根据自己的业务来建立分区方案。我采用的是叠代追加 的方式来扩展以及清理分区的。

    当然我也看过类似 使用根据某列键列 建立计算列并且讲计算列PERSISTED 之后分区的。(可以紧靠业务,自己处理,我在这里展示一种,根据ID自增方案分区扩张的方案)。

    脚本:

    /*  Title:Rapid Delete In The Replication  Author:浪客  Environment:Windows Server 2008 Enterprise + SQL Server 2008 Enterprise  Description:请在非生产环境下测试  */   USE [master]  GO 

    --创建分区函数,分区范围为  id<=100 |  100<id<=200  | id>200

    -输入结果,每个分区100条数据,分区正确!

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    hiberfil.sys文件可以删除吗?了解该文件并手把手教你删除C盘的hiberfil.sys文件

    Window 10和 Windows 11哪个好?答案是:看你自己的需求

    盗版软件成公司里的“隐形炸弹”?老板们的“法务噩梦” 有救了!

    帝国CMS7.5编辑器上传图片取消宽高的三种方法

    帝国cms如何自动生成缩略图的实现方法

    Windows 12即将到来,将彻底改变人机交互

    帝国CMS 7.5忘记登陆账号密码怎么办?可以phpmyadmin中重置管理员密码

    帝国CMS 7.5 后台编辑器换行,修改回车键br换行为p标签

    Windows 11 版本与 Windows 10比较,新功能一览

    Windows 11激活产品密钥收集及专业版激活方法

    IT头条

    智能手机市场风云:iPhone领跑销量榜,华为缺席引争议

    15:43

    大数据算法和“老师傅”经验叠加 智慧化收储粮食尽显“科技范”

    15:17

    严重缩水!NVIDIA将推中国特供RTX 5090 DD:只剩24GB显存

    00:17

    无线路由大厂 TP-Link突然大裁员:补偿N+3

    02:39

    Meta 千万美金招募AI高级人才

    00:22

    技术热点

    微软已修复windows 7/windows 8.1媒体中心严重漏洞 用户可下载安

    卸载MySQL数据库,用rpm如何实现

    windows 7中使用网上银行或支付宝支付时总是打不开支付页面

    一致性哈希算法原理设计

    MySQL数字类型中的三种常用种类

    如何解决SQL Server中传入select语句in范围参数

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。