您当前的位置:首页 > 电脑百科 > 数据库 > Redis

Redis内存碎片处理

时间:2022-05-09 10:26:36  来源:  作者:Java面试365

redis内存碎片处理

不知道我们在执行删除操作时有没有注意过这样一个现象,删除一些bigkey后内存分配器分配的容量并没有减少,实际容量减少了,这是为什么呢?演示如下

模拟bigkey删除

创建生成bigkey的脚本文件createdata.sh

#!/bin/bash
cd /opt/redis/redis-6.0.6/bin/
for i in {1..10000}
do
  echo "key${i} ${i}"
  redis-cli  hset obj  key${i} ${i}
done

赋执行权限

[root@zzf993 redis-6.0.6]# chmod +x createdata.sh
### 执行权限如果分不清可以赋予所有权限
[root@zzf993 redis-6.0.6]# chmod 777 createdata.sh

执行createdata.sh脚本,等待执行完毕

查看内存容量

########## 执行createdata.sh脚本前的内存容量
127.0.0.1:6379> info memory
# Memory
used_memory:864192
used_memory_human:843.94K
used_memory_rss:4681728
used_memory_rss_human:4.46M

########## 执行createdata.sh脚本后的内存容量
# Memory
used_memory:1565384
used_memory_human:1.49M
used_memory_rss:5992448
used_memory_rss_human:5.71M

将key为obj的键值删除后,查看内存容量

127.0.0.1:6379> info memory
# Memory
used_memory:896416
used_memory_human:875.41K
used_memory_rss:5746688
used_memory_rss_human:5.48M

删除bigkey后used_memory_rss波动很小,而used_memory波动很大,因为used_memory_rss是系统向redis分配的内存空间,而used_memory是redis实际使用的内存空间,上述实验表明redis删除键值后并没有马上的将内存空间回收,所以即使删除了一些bigkey的键值,redis占用的空间依然还是那么大,这些空间后续还会不会使用呢?这个需要分情况

  • 如果删除的键值空间是连续的那么后续新增键值还是可以用来存储数据。
  • 如果删除的键值空间不连续那么这就有可能形成的内存碎片。

那么这些内存碎片能不能重复利用呢?我们可以接着往下面思考。

什么是内存碎片

内存碎片一句话描述就是有那么多内存但是放不下那么多数据,我们以高铁买票为例解释,张三、李四、王五去订票这三个人想订连在一起的三个座位,而最近一趟车有100个座位,已售97个,剩余三个座位并不相邻,那么他们三个只能改换下一趟高铁,因为座位不符合他们的预期,那么这趟车就有三个座位空闲,这就是座位碎片。

Redis内存碎片处理

 

将碎片概念放到内存中就是连续空闲的空间放不下那么多数据,如下图,需要向内存中放入一个3字节的数据,虽然内存中存在3字节空闲的内存,但空闲内存不连续所以无法存放,这就是内存碎片

Redis内存碎片处理

 

内存碎片如何产生

内存分配器

在Redis中有多种内存分配策略如libc、jemalloc、tcmalloc,默认使用jemalloc,操作系统的内存分配器根据这些分配策略分配内存,但是内存分配器无法做到按需分配,一般按照固定大小分配,以默认分配策略jemalloc为例,一般按照2的整数次幂分配如2、4、8、16、32等等,如redis申请一个6字节的内存,操作系统就会分配一个8字节的内存给redis使用,那么多出来的2个字节空间,如果后续没有其它操作,那么这2个字节就是内存碎片。

那这样分配是不是完全没有优势呢?显然不是,如redis第一次向操作系统申请了24字节的内存,分配器给redis分配了32字节的空间,当下次redis写入需要8字节以内的空间就不需要再次向操作系统申请了,现有的内存空间完全可以满足要求,所以这样的分配方式可以减少向操作系统申请空间分配。

键值大小不同

因为内存分配器不是按需分配,而不同的键值大小也就会给redis带来不一样的碎片,如键值key1占用内存5个字节,键值key2占用内存7个字节,向操作系统申请时都会给分配8个字节,key1键值的碎片就是3个字节,而key2键值的碎片就是1个字节。

键值的操作

键值的修改、删除也会造成碎片如下所示

Redis内存碎片处理

 

碎片信息如何查看

碎片信息redis提供了info memory命令给用户监控碎片情况

127.0.0.1:6379> info memory
# Memory
used_memory:917256
used_memory_human:895.76K
used_memory_rss:5488640
used_memory_rss_human:5.23M
.......
mem_fragmentation_ratio:6.26

内存信息中mem_fragmentation_ratio指标就是内存的碎片率,碎片率计算如下

mem_fragmentation_ratio = used_memory_rss/used_memory

used_memory_rss:表示是由操作系统分配的内存大小。

used_memory:表示Redis实例占用的内存大小。

如redis向操作系统申请100字节的内存这就是used_memory,操作系统为redis分配128字节的内存这就是used_memory_rss,碎片率就是mem_fragmentation_ratio=1.28。

当mem_fragmentation_ratio<=1.5时,因为操作系统的分配器缘故碎片率避免不了,而且键值的修改,删除也会导致碎片率,所以这算是一个正常范畴。

当mem_fragmentation_ratio>1.5时,相当于碎片率超过了实际占用内存的50%,这就造成了内存的浪费,需要采取一些措施降低碎片率。

注意:如果线上数据显示mem_fragmentation_ratio<1,证明碎片率低,是不是碎片率越低就越好呢?显然不是,碎片率小于1说明used_memory_rss操作系统分配的内存少了,也就是说Redis能使用的物理内存不够了,这就会触发swap,将内存的数据换到磁盘中,后续客户端如果访问了磁盘中的数据将产生延迟。

碎片率如何降低

当Redis版本是4.0以下,那么我们只能通过重启实例解决问题,但需要注意的是重启会有部分数据丢失,即使开启了持久化。

当Redis版本是4.0以上,我们可以通过配置activedefrag yes自动碎片清理来完成,简单形容就是零换整的思想,将空闲内存碎片合并到一起,形成一片连续的空间,如下所示

Redis内存碎片处理

 

不过万事都有两面性,开启自动碎片清理后,会阻塞主线程,所以需要注意清理参数控制,参数如下

  • active-defrag-ignore-bytes 100mb:碎片清理的最小碎片内存,碎片内存到达100mb后开始清理。
  • active-defrag-threshold-lower 10:表示内存碎片空间占分配给redis总空间的10%开始清理和active-defrag-ignore-bytes必须同时满足,有一个不满足停止自动清理。
  • active-defrag-cycle-min 25:表示碎片清理占用CPU最少的比例,保证碎片清理可以正常运行。
  • active-defrag-cycle-max 75:表示碎片清理占用CPU最大的比例,不能让碎片清理影响业务正常处理。

如果碎片清理期间阻塞了主线程的业务处理,一般需要将active-defrag-cycle-max占用CPU的最大比例调小。



Tags:Redis   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
Redis内存碎片处理不知道我们在执行删除操作时有没有注意过这样一个现象,删除一些bigkey后内存分配器分配的容量并没有减少,实际容量减少了,这是为什么呢?演示如下模拟bigkey删...【详细内容】
2022-05-09  Tags: Redis  点击:(0)  评论:(0)  加入收藏
现象:Springboot 接入Redis后发现隔一段时间连接会超时 command timed out。org.springframework.dao.QueryTimeoutException: Redis command timed out; nested exception i...【详细内容】
2022-05-06  Tags: Redis  点击:(20)  评论:(0)  加入收藏
故障生产环境zabbix突然告警,redis主从服务器的CPU使用率过高。通过堡垒机连接生产服务器查看具体情况。发现占用CPU较高的是redis进程。遂进一步查看redis实例的日志,发现进...【详细内容】
2022-04-27  Tags: Redis  点击:(20)  评论:(0)  加入收藏
故事从一个叫 Redis 帝国的三公九卿官职说起&hellip;&hellip;在 Redis 帝国中,整个帝国的国法、家法和军法等都记录在 redis.conf中,它控制着整个帝国的运行。公务员占用的国...【详细内容】
2022-04-25  Tags: Redis  点击:(17)  评论:(0)  加入收藏
2.8版本以前同步(snyc)执行步骤: 从服务器发送snyc给主服务器 主服务器收到命令后,开始执行bgsave操作,将生成RDB文件,将生成的RDB文件同步给从服务。并使用一个缓冲区记录从现...【详细内容】
2022-04-24  Tags: Redis  点击:(27)  评论:(0)  加入收藏
在我们日常开发中如果使用Redis做缓存,那么使用最多的可能为String类型,String类型使用简单而且容易理解但这只是开发方面,如果业务数据量过大使用String类型存储可行性是否还...【详细内容】
2022-04-24  Tags: Redis  点击:(22)  评论:(0)  加入收藏
概览Redis 本质是 K-V 键值对数据库,底层通过字典 dict 存储键值映射关系,除此之外,dict 还作为 Redis hash 结构底层的实现之一。讨论 Redis 的数据结构,可以从两个层面出发。...【详细内容】
2022-04-18  Tags: Redis  点击:(21)  评论:(0)  加入收藏
目录 1、简介 2、安装 3、开启与关闭服务 4、内置客户端交互 本篇主要讲解在 CentOS 环境下安装 Redis。 1、简介Redis(Remote Dictionary Server),即远程字典服务,是一个开源的...【详细内容】
2022-04-13  Tags: Redis  点击:(17)  评论:(0)  加入收藏
Redis是目前最受欢迎的kv类数据库,当然它的功能越来越多,早已不限定在kv场景,消息队列就是Redis中一个重要的功能。 Redis从2010年发布1.0版本就具备一个消息队列的雏形,随着10...【详细内容】
2022-04-11  Tags: Redis  点击:(26)  评论:(0)  加入收藏
面试官提问 Redis热点key如何解决? 100万请求同时从Redis读取相同key,如何优化? 明星有热点新闻,如何从Redis读取热点新闻的相关数据?Redis热点key问题是什么商品大促(比如阿里双...【详细内容】
2022-03-30  Tags: Redis  点击:(35)  评论:(0)  加入收藏
▌简易百科推荐
Redis内存碎片处理不知道我们在执行删除操作时有没有注意过这样一个现象,删除一些bigkey后内存分配器分配的容量并没有减少,实际容量减少了,这是为什么呢?演示如下模拟bigkey删...【详细内容】
2022-05-09  Java面试365    Tags:Redis   点击:(0)  评论:(0)  加入收藏
故障生产环境zabbix突然告警,redis主从服务器的CPU使用率过高。通过堡垒机连接生产服务器查看具体情况。发现占用CPU较高的是redis进程。遂进一步查看redis实例的日志,发现进...【详细内容】
2022-04-27  BlueCore    Tags:Redis   点击:(20)  评论:(0)  加入收藏
故事从一个叫 Redis 帝国的三公九卿官职说起&hellip;&hellip;在 Redis 帝国中,整个帝国的国法、家法和军法等都记录在 redis.conf中,它控制着整个帝国的运行。公务员占用的国...【详细内容】
2022-04-25  可爱的雯雯子    Tags:Redis   点击:(17)  评论:(0)  加入收藏
2.8版本以前同步(snyc)执行步骤: 从服务器发送snyc给主服务器 主服务器收到命令后,开始执行bgsave操作,将生成RDB文件,将生成的RDB文件同步给从服务。并使用一个缓冲区记录从现...【详细内容】
2022-04-24  海椰人    Tags:Redis主从同步   点击:(27)  评论:(0)  加入收藏
在我们日常开发中如果使用Redis做缓存,那么使用最多的可能为String类型,String类型使用简单而且容易理解但这只是开发方面,如果业务数据量过大使用String类型存储可行性是否还...【详细内容】
2022-04-24  Java面试365    Tags:Redis缓存   点击:(22)  评论:(0)  加入收藏
概览Redis 本质是 K-V 键值对数据库,底层通过字典 dict 存储键值映射关系,除此之外,dict 还作为 Redis hash 结构底层的实现之一。讨论 Redis 的数据结构,可以从两个层面出发。...【详细内容】
2022-04-18  小一明日记    Tags:dict字典   点击:(21)  评论:(0)  加入收藏
目录 1、简介 2、安装 3、开启与关闭服务 4、内置客户端交互 本篇主要讲解在 CentOS 环境下安装 Redis。 1、简介Redis(Remote Dictionary Server),即远程字典服务,是一个开源的...【详细内容】
2022-04-13  AllTests软件测试  微信公众号  Tags:Redis   点击:(17)  评论:(0)  加入收藏
Redis是目前最受欢迎的kv类数据库,当然它的功能越来越多,早已不限定在kv场景,消息队列就是Redis中一个重要的功能。 Redis从2010年发布1.0版本就具备一个消息队列的雏形,随着10...【详细内容】
2022-04-11  编程技术分享    Tags:Redis   点击:(26)  评论:(0)  加入收藏
面试官提问 Redis热点key如何解决? 100万请求同时从Redis读取相同key,如何优化? 明星有热点新闻,如何从Redis读取热点新闻的相关数据?Redis热点key问题是什么商品大促(比如阿里双...【详细内容】
2022-03-30  元面试    Tags:Redis   点击:(35)  评论:(0)  加入收藏
如果你了解过关系型数据库事务的话,相信这篇文章对你来说是很容易理解的了。具体什么是事务我就不说不多了,直接讲 Redis 事务相关的部分。首先,我们先来看下,Redis 是怎么执行...【详细内容】
2022-03-30  可爱的雯雯子  博客园  Tags:Redis事务   点击:(30)  评论:(0)  加入收藏
站内最新
站内热门
站内头条