您当前的位置:首页 > 电脑百科 > 数据库 > 百科

数据库硬盘空间可用小于90%解决的方案

时间:2022-08-09 14:00:26  来源:  作者:星锅说事

一.问题描述

我司在某云的MySQL数据库占硬盘空间大于90%,RDS空间总空间为 700G,表A分析之后。某渠道统计的表有5亿,单表空间超过350G。

服务器架构:一主多从。

报警截图:

二.处理流程 1.解决方法一:

钞能力,增加RDS硬盘空间,剧终!但是会有大表查询效率问题,数据到达一定量还是需要会出现同样的问题。


2.解决方法二:

  1.  

    备份表A(mysqldump、xtrabackup等)

     

  2.  

    跟研发沟通,新建相同表结构B,将业务数据写入表B中,跑一段时间无问题。【实际业务中,将此表按月分表】

     

  3.  

    截断表A,释放硬盘空间(不会导致主从延迟)。

     

  4.  

    定时任务:定期备份删除过期数据。

     


涉及到的知识点:

 

mysql备份(鄙视一下某云,某云备份居然还要收费)。

截断表是否会导致主从延迟(不会)。


表空间分析


mysqldump 备份命令 mysqldump -u 用户名 -h 数据库地址 -p '密码' --opt 数据库名 表名 > /data/备份文件名.sql

备份表的时候报错:

mysqldump: Error 2013: Lost connection to MySQL server during query when dumping table `XXXXX` at row: 686431

有报错,于是发工单,某云客服推荐使用DMS导出

备份的时候影响小部分性能,但是免费居然超过免费额度。本着能免费,为啥要收费呢, 真的是无语了,浪费几个小时!

导出失败: 您当前使用的数据库实例管控模式为“自由操作”,已超出免费额度1,000,000。如您需要继续操作请调整实例管控模式为“稳定变更”、“安全协同”后再进行

域名是修改数据库配置,再用mysqldump 将表导出。

.NET_read_timeout:30
net_write_timeout:60

于是把这个参数修改为:

net_read_timeout:288000
net_write_timeout:288000

修改数据库配置

再用mysqldump导出数据库,等了将近十几个小时之后终于备份成功,大小为193G

mysqldump -u 用户名 -h 数据库地址 -p '密码' --opt 数据库名 表名 > /data/备份文件名.sql

新上一张表

实际在跟研发沟通,按月来做分表。比如:表名+日期 table_2208

截断表之后的硬盘总大小

删除表和截断表命令之间的区别

表删除包括表的定义和关联对象(规则、索引、约、触发器、主键,等)。很明显,一旦表被删除,那么表中包含的所有的数据行都会被一同删除。

truncate 命令则仅仅删除了表中所有的数据行。表的结构和所有的索引仍然继续存在,直到你输入删除表的命令(如上所述)。绑定到列上的规则、默认值、约束仍然继续绑定,并且触发器也仍然起作用。

截断表命令还会回收所有索引的分配页。

截断表的执行速度与不带where子句的delete(删除)命令相同,甚至比它还要快。delete(删除) 一次删除一行数据,并且将每一行被删除的数据都作为一个事务记录日志;而truncate (截断)表则回收整个数据页,只记录很少的日志项。delete(删除)和truncate(截断)都会回收被数据占用的空间,以及相关的索引。只有表的拥有者可以截断表。



Tags:数据库   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
背景2021年6月1日,蚂蚁集团开源 OceanBase 代码,这款连续两年占领 TPC-C 榜首的数据库产品再次拥抱开源。而此时,在开源社区国产数据库的赛道上还有另外一位明星选手:TiDB。同为...【详细内容】
2022-10-24  Tags: 数据库  点击:(4)  评论:(0)  加入收藏
SQLite 是一个被大家低估的数据库,因为有很多人认为它是一个不适合生产环境使用的玩具数据库。但事实上,SQLite 是一个非常可靠的数据库,它可以处理 TB 级的数据,虽然它没有网络...【详细内容】
2022-10-11  Tags: 数据库  点击:(11)  评论:(0)  加入收藏
读写数据库大多数情况下,海量的数据是使用数据库进行数据库进行存储的,这主要是依赖于数据库的数据结构化、数据共享性、独立性等特点。因此,在实际生产环境中,绝大多数的数据都...【详细内容】
2022-09-23  Tags: 数据库  点击:(25)  评论:(0)  加入收藏
有时候部署服务器正式版与测试版数据库的时候总会有人忘记某些字段同步更新的问题不管是字段类型 或是字段名称. 然后等待着的就是一堆的错误日志.所以一直想找一款可以查找...【详细内容】
2022-09-12  Tags: 数据库  点击:(46)  评论:(0)  加入收藏
步骤一:设置sql server数据库1.以新建一个新用户名test作为远程连接登录名。在本地登录sql server数据库,安全性->右键用户名 2.点击根目录右键,选择属性 选择安全性 选...【详细内容】
2022-09-11  Tags: 数据库  点击:(53)  评论:(0)  加入收藏
数据库更改是开发过程中一个棘手的部分。我们能否像对待代码一样对待数据库,将其作为 CI/CD 周期的一部分?数据库更改是应用程序开发过程中一个棘手的部分:它通常涉及来自不同...【详细内容】
2022-09-03  Tags: 数据库  点击:(67)  评论:(0)  加入收藏
在日常开发中,经常会需要进行数据库操作,如执行一些 SQL 查询、或者执行一些 SQL 命令等,如果每次执行操作都按照 Delphi 数据库操作的步骤一步一步地组织语句去执行的话,又显得...【详细内容】
2022-09-01  Tags: 数据库  点击:(72)  评论:(0)  加入收藏
尊敬的客户:非常荣幸地通知您,华为认证HCIE-GaussDB-OLTP V1.0(中文版)预计将于2022年09月30日正式对外发布。为了帮助您做好学习、培训和考试计划,现进行预发布通知,请您关注。一...【详细内容】
2022-08-30  Tags: 数据库  点击:(185)  评论:(0)  加入收藏
开发中经常说到数据入库,我们在实现时需要知道使用何种技术,连接哪个数据库,连接数据库的账号和密码等等。今天要跟大家分享的是spring web项目中使用mybatis连接到postgresql...【详细内容】
2022-08-29  Tags: 数据库  点击:(60)  评论:(0)  加入收藏
摘要:区别于PostgreSQL和Oracle,MariaDB采取的是一种现代的云原生的方法,在低成本、耐用的云存储上管理几乎无限量的地理空间数据,并提供基于OGC(开放地理空间信息联盟)标准的REST...【详细内容】
2022-08-29  Tags: 数据库  点击:(42)  评论:(0)  加入收藏
▌简易百科推荐
背景2021年6月1日,蚂蚁集团开源 OceanBase 代码,这款连续两年占领 TPC-C 榜首的数据库产品再次拥抱开源。而此时,在开源社区国产数据库的赛道上还有另外一位明星选手:TiDB。同为...【详细内容】
2022-10-24  数据库架构师之路  今日头条  Tags:OceanBase   点击:(4)  评论:(0)  加入收藏
1、安装oblogproxyyum install -y yum-utils yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo yum install -y oblogproxy # oblogp...【详细内容】
2022-10-24  软件搬运工老张  今日头条  Tags:OceanBase   点击:(3)  评论:(0)  加入收藏
0 HBase简介HBase是一个构建在HDFS之上,用于海量数据存储分布式列存储系统。 表的每行都是按照RowKey的字典序排序存储 表的数据是按照RowKey区间进行分割存储成多个region所...【详细内容】
2022-10-15  存储矩阵  今日头条  Tags:HBase   点击:(4)  评论:(0)  加入收藏
SQLite 是一个被大家低估的数据库,因为有很多人认为它是一个不适合生产环境使用的玩具数据库。但事实上,SQLite 是一个非常可靠的数据库,它可以处理 TB 级的数据,虽然它没有网络...【详细内容】
2022-10-11  爆笑欢乐     Tags:SQLite   点击:(11)  评论:(0)  加入收藏
概述Apache Calcite的前身是optiq,是Hive中做CBO(Cost Based Optimization, 基于成本的优化)的一个模块。2014年5月从Hive项目中独立出来,成为Apache社区的孵化项目,同年9月正...【详细内容】
2022-10-05  yuanyeex  今日头条  Tags:Apache Calcite   点击:(30)  评论:(0)  加入收藏
1. 概览在过去的3个月中,我们发布上线了冷热数据分离存储等功能。今天很高兴和大家交流PolarDB-X最新的内核版本5.4.15。在最新版本中,提供诸多新的功能:存储过程,读写分离优...【详细内容】
2022-09-27  阿里云数据库  今日头条  Tags:MySQL   点击:(24)  评论:(0)  加入收藏
摘要:输入一条语句,返回一个结果,却不知道这条语句在 MySQL 内部的执行过程。 本文分享自华为云社区《一条查询SQL是如何执行的-云社区-华为云》,作者: 共饮一杯无 。执行如下SQL...【详细内容】
2022-09-26  互联网资讯看板     Tags:SQL语句   点击:(33)  评论:(0)  加入收藏
现在数据库里有一张由销售员姓名、销售产品、销售额三个字段构成的销售业绩表。想知道空调和电视销售额都在前 10 名的销售员名单。大家第一反应应该是写一段SQL。对专业的...【详细内容】
2022-09-26  播鹰科技     Tags:SQL   点击:(15)  评论:(0)  加入收藏
基于数据库的实现方案 UUID 获取系统当前时间 snowflake 算法问: 分库分表之后,id 主键如何处理?面试官心理分析其实这是分库分表之后你必然要面对的一个问题,就是 id 咋生成?因...【详细内容】
2022-09-23  男神是孟德大人啊  今日头条  Tags:分库分表   点击:(20)  评论:(0)  加入收藏
读写数据库大多数情况下,海量的数据是使用数据库进行数据库进行存储的,这主要是依赖于数据库的数据结构化、数据共享性、独立性等特点。因此,在实际生产环境中,绝大多数的数据都...【详细内容】
2022-09-23  KJ丶JK    Tags:数据库   点击:(25)  评论:(0)  加入收藏
站内最新
站内热门
站内头条