关闭 x
IT技术网
    技 采 号
    ITJS.cn - 技术改变世界
    • 实用工具
    • 菜鸟教程
    IT采购网 中国存储网 科技号 CIO智库

    IT技术网

    IT采购网
    • 首页
    • 行业资讯
    • 系统运维
      • 操作系统
        • Windows
        • Linux
        • Mac OS
      • 数据库
        • MySQL
        • Oracle
        • SQL Server
      • 网站建设
    • 人工智能
    • 半导体芯片
    • 笔记本电脑
    • 智能手机
    • 智能汽车
    • 编程语言
    IT技术网 - ITJS.CN
    首页 » MySQL »使用shell分页读取600万+的MySQL数据脚本是怎么做到的

    使用shell分页读取600万+的MySQL数据脚本是怎么做到的

    2015-04-29 00:00:00 出处:ITJS
    分享

    shell-mysql

    (1)脚本背景:

    由于要在Linux上,远程读取mysql的表的数据,然后做一定清洗后,把数据上传至Hadoop集群中,使用Java写吧,感觉太麻烦了,得在Win上开发好,还得打成jar包, 上传到Linux上,如果那里出了问题,还得重复这样,非常不方便,那就用shell写一个吧,也不需要什么jdbc驱动包,只需要在Linux上装个MySQL的 客户端即可,用一行yum命令即可搞定,所以就花了点时间,封装了一个小脚本

    (2)功能介绍:

    直接在Linux下使用shell脚本远程分页读取MySQL表的数据的一个小脚本,已测过读取600万+的数据 效率与jdbc相差无几

    (3)脚本介绍:

    主要有三个脚本构成

    1,page.sh 这是一主脚本,里面定义了分页的条件,大家看下便知

    2,f.sh 一个小包装的脚本吧,里面会用sed去掉表头一些信息

    3,port.sh 分页读取数据的执行脚本

    (4)如何使用

    使用非常简单,需要改下page.sh里面的查询字段,以及分页查询的数量,默认是10000,然后执行sh page.sh databaseName tableName传入数据库名和表名即可

    Github项目地址

    #第一个参数表名 #第二个参数是start #第三个参数是offset #分页读取数据后,删除第一行表头,并写入一个文件中,文件名与表名一样 sh port.sh $1 $2 $3  | sed '1d' >> tables/$1  #删除无用的html字符 #sed -i 's/<[^>]*>//g;/^$/d'  tables/$1    #删除无用的一些特殊符号 #sed -i 's/[a-zA-Z.():;><-]//g' tables/$1  

    #登陆mysql,负责查询某个表数据总量 MYSQL=`which mysql` count=`$MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF   use $1; select    count(1)  from $2  ; EOF`   #得到某一个表的总数量 count=`echo "$count" | sed '1d' ` #定义一个每页读取的最大数量 pageSize=10000 #计算总共的分页数 totalPage=0; #判断总数量,求模是否等于0,等于0,就是相除多少页 temp=` echo "$count%$pageSize" | bc ` if [ 0 -eq $temp ] ;then totalPage=`echo  "$count/$pageSize" | bc` else #否则,就是相除后+1,作为总的分页数 totalPage=`echo  "$count/$pageSize+1" | bc` fi  echo "总数量:$count 每页读取数量:$pageSize  分页数量:$totalPage"  #把总页数减一,方便分页处理,因为后面咱的下标从0开始 totalPage=`echo "$totalPage-1" | bc ` #echo "处理后:$totalPage"  #for循环遍历总页数 for page in `seq 0 $totalPage` do #计算每页的偏移量 offset=`echo "$page*$pageSize" | bc ` echo "当前处理到第$page页,分页信息: limit $offset $pageSize  " ###第一个参数表名 ###第二个参数偏移量 ###第三个参数每页读取数据 #调用f.sh获取数据 sh f.sh $1 $offset $pageSize  done    #sed -i 's/<[^>]*>//g;/^$/d'  tables/$1  #sed -i 's/[a-zA-Z.():;><-]//g' tables/$1 

    #连接mysql #        -h主机地址                                                             -u用户名 -p密码  #下面的语句,是登陆到数据库后,使用某个数据库,然后根据条件查询表 MYSQL=`which mysql`   $MYSQL -hmysqlhost --default-character-set=utf8   -P3306 -uname -ppwd  <<EOF     use db_conform;   select    concat_ws('#',ifNull(id,''),ifNULL(title,''),ifNULL(replace(replace(replace(content ,'n','' ), 'r' , '' ),'#','' ) ,''),ifNULL(doc_no,'')) from $1 limit $2 , $3   ;     EOF    #echo $query   

    上一篇返回首页 下一篇

    声明: 此文观点不代表本站立场;转载务必保留本文链接;版权疑问请联系我们。

    别人在看

    hiberfil.sys文件可以删除吗?了解该文件并手把手教你删除C盘的hiberfil.sys文件

    Window 10和 Windows 11哪个好?答案是:看你自己的需求

    盗版软件成公司里的“隐形炸弹”?老板们的“法务噩梦” 有救了!

    帝国CMS7.5编辑器上传图片取消宽高的三种方法

    帝国cms如何自动生成缩略图的实现方法

    Windows 12即将到来,将彻底改变人机交互

    帝国CMS 7.5忘记登陆账号密码怎么办?可以phpmyadmin中重置管理员密码

    帝国CMS 7.5 后台编辑器换行,修改回车键br换行为p标签

    Windows 11 版本与 Windows 10比较,新功能一览

    Windows 11激活产品密钥收集及专业版激活方法

    IT头条

    智能手机市场风云:iPhone领跑销量榜,华为缺席引争议

    15:43

    大数据算法和“老师傅”经验叠加 智慧化收储粮食尽显“科技范”

    15:17

    严重缩水!NVIDIA将推中国特供RTX 5090 DD:只剩24GB显存

    00:17

    无线路由大厂 TP-Link突然大裁员:补偿N+3

    02:39

    Meta 千万美金招募AI高级人才

    00:22

    技术热点

    windows 7应用程序无法启动出现窗口提示找不到应用程序

    SQL中数据类型转换函数的使用

    MySQL使用变量的注意事项

    SQL Server 锁自定义的示例演示

    如何在Linux命令行中创建以及展示演示稿

    windows 7任务栏显示标题的方法(windows 7任务栏缩略图不显示出

      友情链接:
    • IT采购网
    • 科技号
    • 中国存储网
    • 存储网
    • 半导体联盟
    • 医疗软件网
    • 软件中国
    • ITbrand
    • 采购中国
    • CIO智库
    • 考研题库
    • 法务网
    • AI工具网
    • 电子芯片网
    • 安全库
    • 隐私保护
    • 版权申明
    • 联系我们
    IT技术网 版权所有 © 2020-2025,京ICP备14047533号-20,Power by OK设计网

    在上方输入关键词后,回车键 开始搜索。Esc键 取消该搜索窗口。