mysql中怎么删除整张表(MySQL如何优雅的删除大表实例详解)
mysql中怎么删除整张表
MySQL如何优雅的删除大表实例详解前言
删除表,大家下意识想到的命令可能是直接使用DROP TABLE "表名",这是初生牛犊的做法,因为当要删除的表达空间到几十G,甚至是几百G的表时候。这样一条命令下去,MySQL可能就直接夯住了,外在表现就是QPS急速下降,客户请求变慢。
解决办法
1.业务低峰时间手动执行删除
这个可能就需要DBA不辞辛劳,大晚上爬起来删表了。
2.先清除数据,最后再删除的方式
譬如1000万条数据,写脚本每次删除20万,睡眠一段时间,继续执行。这样也能做到对用户无感知。
3.对表文件(idb文件)做一个硬链接来加速删除
这个方法利用了linux下硬链接的知识,来进行快速删除,不记得话可以回去翻一下《鸟哥的linux私房菜》
|
ln data_center_update_log.ibd data_center_update_log.ibd.hdlk [root@mysql01 sports_center]# ll 总用量 19903792 -rw-r ----- 1 mysql mysql 9076 10月 17 13:15 data_center_update_log.frm -rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd -rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk |
执行上面命令后,我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间,只是增加了一次对磁盘上文件的引用。
当我们删除其中任何一个文件时,都不会影响磁盘上真实的文件,只是将其引用数目减去1。当被引用的数目变为1的时候,再去删除文件,才会真正做IO来删除它。
正是利用这个特点,将由原来mysql来删除大文件的操作,转换为一个简单的操作系统级的文件删除,从而减少了对mysql的影响。
4.登陆mysql,执行drop表操作
很快,200万条数据只用了1秒完成,此操作是在创建硬链接后执行的
|
mysql> drop tables data_center_update_log; Query OK, 0 rows affected (1.02 sec) mysql> exit Bye 退出来,再次查看数据目录,发现就只剩data_center_update_log.ibd.hdlk硬链接文件了 [root@mysql01 sports_center]# ll 总用量 19903792 -rw-r ----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk |
5.如何正确删除ibd.hdlk硬链接文件呢
- 虽然drop table之后,剩下的硬链接文件已经和mysql没有关系了。但如果文件过大,直接用rm命令来删除,也是会造成IO开销飙升,CPU负载过高,进而影响到MySQL。
- 这里我们用到的方法,可以循环分块删除,慢慢地清理文件,通过一个脚本即可搞定
- Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。
5.1 安装truncate命令
|
[root@mysql01 ~] # cruncate - bash : cruncate: 未找到命令 通常操作系统会安装truncate命令,该命令在coreutils安装包里面,如果没有安装可以使用下面命令安装 [root@mysql01 ~] # yum provides truncate coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts 源 :base 匹配来源: 文件名 : /usr/bin/truncate 可以看到truncate由coreutils安装包提供,下面安装coreutils安装包: [root@mysql01 ~] # yum install -y coreutils |
5.2 truncate常用选项
-c, --no-create --> 不创建任何文件
-o, --io-blocks --> 将大小视为存储块的数量,而不是字节
-r, --reference=RFILE --> 参考指定的文件大小
-s, --size=SIZE --> 按照指定的字节设置文件大小
5.3 truncate_bigfile.sh脚本
原理:使用truncate -s选项可以指定文件大小,通过脚本指定每次文件减少的大小,并sleep睡眠一定时间,从而达到可控的删除文件
附:truncate_bigfile.sh脚本
|
#! /bin/bash # TRUNCATE= /usr/bin/truncate FILE=$1 if [ x "$1" = x ]; then echo "Please input filename in" exit 1; else SIZE_M=$( du -sm "$1" | awk '{print $1}' ) for i in $( seq "${SIZE_M}" -100 0) do sleep 1 echo "${TRUNCATE} -s ${i}M ${FILE}" ${TRUNCATE} -s "${i}" M "${FILE}" done fi if [ $? - eq 0 ]; then \ rm -f "${FILE}" else echo "Please check file" fi |
总结
到此这篇关于MySQL如何优雅的删除大表的文章就介绍到这了,更多相关MySQL优雅删除大表内容请搜索开心学习网以前的文章或继续浏览下面的相关文章希望大家以后多多支持开心学习网!
原文链接:https://www.cnblogs.com/easydb/p/14185881.html
- docker 清除none镜像(删除docker images中为none的镜像操作)
- mysql大量数据怎么处理(MySQL删除和插入数据很慢的问题解决)
- 列表重复数据怎么删除python(Python实现的删除重复文件或图片功能示例去重)
- yield方法可以使一个线程停止运行(Yii2.0框架模型添加/修改/删除数据操作示例)
- sql server 管理日志可以删除吗(SQL Server查看login所授予的具体权限问题)
- sqlserver删除表的第一行数据(sql server删除前1000行数据的方法实例)
- docker-compose绑定端口失效(docker-compose创建网桥,添加子网,删除网卡的实现)
- sql建立视图步骤(SQL 创建、更新和删除视图的方法)
- dedecms移动端如何设置(dedecms删除系统自定义变量的方法)
- php如何将数组清空(PHP实现数组向任意位置插入,删除,替换数据操作示例)
- 阿里云服务器ecs过期保留多久(阿里云ECS Windows服务器C盘权限被删除还能还原吗?)
- sql server2012表的数据删除(SQL Server删除表及删除表中数据的方法)
- sql server 2000数据库管理(SQL Server 2000/2005/2008删除或压缩数据库日志的方法)
- dedecms设置二级域名(织梦DEDECMS中要删除指定IP的评论的方法)
- python实现列表删除重复元素(Python代码实现删除一个list里面重复元素的方法)
- sql如何把重复数据记录删除(sql分组后二次汇总处理表重复记录查询和删除的实现方法)
- 0 1 岁婴儿最强作息指南,照着做养出天使宝宝(01岁婴儿最强作息指南)
- 沪上这16所高校 萌新 礼包开箱 哪一款让你心动(沪上这16所高校萌新)
- 她救了被绑架的他,而这一切竟是一场阴谋...(她救了被绑架的他)
- 冬季养殖这6种阴生植物,方便又好养,你家有么(冬季养殖这6种阴生植物)
- 阴生植物为什么不怕照不到阳光(阴生植物为什么不怕照不到阳光)
- 阴生环境 耐阴地被植物,你知道哪些(阴生环境耐阴地被植物)
热门推荐
- 如何让tomcat启动更快(快速解决Tomcat启动慢的问题,超简单)
- js字符串常用函数
- MySQL DATE_FORMAT()用法
- Jquery对数组的操作
- 阿里云ssl证书安装教程(阿里云申请的 CA Wosin 证书,在Windows iis下导入证书的步骤分享)
- sql server 报错(sql server利用不同语种语言显示报错错误消息的方法示例)
- centosdocker镜像安装mysql(linux下利用Docker安装mysql的步骤)
- 手机无法与服务器建立安全连接(ftp无法与服务器建立连接)
- docker 部署netcore(关于Jenkins + Docker + ASP.NET Core自动化部署的问题避免踩坑)
- css定位属性position的值的含义(css position fixed 左右双定位的实现代码)
排行榜
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9