您当前的位置:首页 > 电脑百科 > 数据库 > Redis

Redis数据已经删除了,为什么内存占用还是很高?

时间:2023-12-08 13:09:24  来源:微信公众号  作者:小许code

前言

作为面试经历都很丰富的兄弟们,应该或多或少被问到或者自己亲身经历过这个问题,问题如下:

redis做了数据删除操作,为什么使用top命令时,还是显示Redis占了很多内存

没做相关功课的人觉得这个问题有问题,删了数据还说占着内存,面试官不是在误导我吗,事实并非如此!

这里先说答案 

实际上,这是因为,当数据删除后,Redis 释放的内存空间会由内存分配器管理,并不会立即返回给操作系统。所以,操作系统仍然会记录着给 Redis 分配了大量内存。

而 used_memory_rss 记录着在操作系统角度,Redis进程占用的物理总内存

这样看来文章好像讲完了,开头就知道答案,当然不是,内容多着呢~

文章将从下面这些点分析扩展你对于Redis内存方面的知识点,以及内存碎片和如何清理内存碎片。

毕竟面试官问你一个问题,你选择只回答一句和面试官掰扯掰扯两种方式,那么第二种情况更会让他觉得你厉害爆了,懂得真多!

Redis数据已经删除了,为什么内存占用还是很高?

Redis内存消耗组成

Redis内存消耗主要在于其主进程消耗和子进程消耗。而主进程消耗又主要包括自身内存、对象内存、缓冲区内存、内存碎片四个方面:

Redis数据已经删除了,为什么内存占用还是很高?

自身进程占用内存

Redis进程自身所占用的内存,这部分内存通常很小,一个空的Redis进程所消耗的内存几乎可以忽略不计

数据对象内存

对象占用的内存是Redis中占用内存最大的,这里存储这我们的键值对,我们知道不同的数据类型占用的内存空间大小也不同,特别是那种大key占用内存的情况就更惊人了。

缓冲区

Redis主要有三大缓冲区:客户端缓冲区、AOF缓冲区、复制缓存区

Redis数据已经删除了,为什么内存占用还是很高?

客户端缓冲区: 为了解决客户端和服务端请求和处理速度不匹配问题(即CPU 与 I/O 设备速度不匹配的矛盾),分为输入和输出缓冲区。

输入缓冲区会先把客户端发送过来的命令暂存起来,Redis 主线程再从输入缓冲区中读取命令,进行处理。当在处理完数据后,会把结果写入到输出缓冲区,再通过输出缓冲区返回给客户端。

AOF缓冲区: 在进行AOF持久化时所用到的缓冲区,AOF缓冲区消耗的内存取决于AOF重写时间和写入命令量, 分为AOF缓冲区和AOF重写缓冲区

复制缓冲区:是在集群环境中为了保证主从节点数据同步的所设置的,由于主从节点间的数据复制包括全量复制和增量复制两种。因此复制缓冲区也分为复制缓冲区和复制积压缓冲区两种,分别用于全量和增量同步

内存碎片

内存碎片主要是有两个原因:操作系统的内存分配机制、Redis存储特性,这两个原因我们在文章中会具体提到。

子进程消耗

子进程消耗是指在RDB、AOF重写时fork()子进程的内存消耗

有人说这不是用到了写时复制技术吗?

虽然子进程可以不用完全复制父进程的物理内存,但是仍然需要复制其内存页表,在此期间如果有写入操作则需要复制出一份副本出来,因此同样会消耗一部分内存,消耗的内存两取决于RDB和AOF重写期间的写入命令数量。

查看内存指标

查看当前Redis相关内存信息用 info memory 命令,如果是集群使用 cluster info命令

127.0.0.1:6379> info memory
# Memory
used_memory:856472  // Redis 存储数据占用的内存量
used_memory_human:836.40K  // 人类可读形式返回内存总量
used_memory_rss:1282048  // 操作系统角度,进程占用的物理总内存
used_memory_rss_human:1.22M // used_memory_rss 可读性模式展示
used_memory_peak:857448 // 内存使用的最大值,表示 used_memory 的峰值
used_memory_peak_human:837.35K  // 以可读的格式返回 used_memory_peak的值
used_memory_lua:37888   // Lua 引擎所消耗的内存大小。
used_memory_lua_human:37.00K
maxmemory:2147483648    // 能使用的最大内存值,字节为单位。
maxmemory_human:2.00G  // 可读形式
maxmemory_policy:noeviction // 内存淘汰策略

// used_memory_rss / used_memory 的比值,代表内存碎片率
mem_fragmentation_ratio:2.79

used_memory_rss:操作系统分配给 Redis 进程的内存空间(包含内存碎片占用的空间),此数据结果约等于top、ps命令看到的数据结果,是从操作系统层看到的数据

maxmemory:Redis 最大可用内存,0表示不限制,我们一般会设置这个值,避免所有内存超过物理内存

内存为何没释放

Redis 释放的内存空间会由内存分配器管理,并不会立即返回给操作系统,是因为采用了一种称为“惰性删除”的机制,即在数据被删除之后,并不会立即释放内存空间,而是等到有新数据需要使用该空间时才会释放。

这种方式的好处是可以减少内存分配和释放的开销,提高 Redis 的性能。

但是Redis释放内存空间可能不是连续的,可能导致空间闲置(也就是出现内存碎片),而内存碎片过大会导致明明有空间可用,但是却无法存储数据!

ok!我们继续看看什么是内存碎片

内存碎片

前面我们已经了解了Redis占用内存的组成以及如何查看内存占用信息,接下来看什么是内存碎片和导致出现内存碎片的原因。

Redis使用多种内存分配策略,例如 jemalloc 和 libc,这些分配器无法做到按需分配,通常会按照固定大小进行分配。例如,如果Redis申请6字节的内存,操作系统会分配8字节的内存给Redis使用,剩下的2个字节空间无法被使用就是内存碎片。

但这种分配方式也有优势,可以减少向操作系统申请空间分配。

导致Redis产生内存碎片主要由以下两点:

  • • 内存分配机制导致
  • • 数据修改引发空间扩容和释放

内存分配机制导致

操作系统的架构和 Redis jemalloc 分配策略无法做到按需分配,而是应用程序申请内存大小必须是一块连续的内存地址空间。

这种连续是按固定大小来分配的,比如:8字节、16 字节、32 字节、64 字节 ... 这种方式会在程序申请内存接近某个值的时候,jemalloc就会给它分配响应大小的内存空间。

Redis数据已经删除了,为什么内存占用还是很高?

上图中:

第一次存储数据是需要6字节,而Redis内存分配策略给你分配了8字节,空出2个字节的空间。

第二次存储数据是需要4个字节,但是空出的2个字节无法保存4字节数据,所以会再次向系统申请8字节内存空间,空出了4字节,两次存储数据就多出来6个字节的内存碎片。

这也就是内存分配机制导致的形成碎片的风险和原因。

数据修改引发空间扩容和释放

这个原因应该更好理解吧,若修改数据时占用的空间有变化,此时就需要扩容或者缩容;而删除数据也会将内存释放出来,形成碎片。

如下图:

Redis数据已经删除了,为什么内存占用还是很高?图片

  • • 各数据占用内存字节空间分别是A:2、B:1、C:3、D:3
  • • 此时D释放了一个字节空间
  • • A修改了数据,增加了一个字节。为保证A的内存空间连续性,B的数据拷贝到了第二阶段D释放出来的那个字节位置
  • • C修改后删除了2个字节空间

可以看出经过一系列对数据的修改,C和D之间有2字段内存空间,此时多出来2字节空间就是内存碎片。

处理内存碎片

如何在进行处理内存碎片,那么以什么为参考呢?

前面说的 info memory命令,如果指标值 mem_fragmentation_ratio (内存碎片率)的值,在 1 < 碎片率 < 1.5,可以认为是合理的,而大于 1.5 说明碎片已经超过 50%,我们需要采取一些手段解决碎片率过大的问题。

有下面三种方式可处理 :

Redis数据已经删除了,为什么内存占用还是很高?

重启Redis实例

重启Redis属于直接当时粗暴的方式,在重启之前要考虑两点:

  • • 若Redis的数据没有持久化,数据会丢失
  • • 即使做了持久化,重启需要通过AOF或RDB恢复数据,恢复时间取决于日志的大小,如果恢复时间长,这个阶段实例就不能提供服务了

这种方式还是要慎重!

memory purge手动碎片整理

手动整理内存碎片,会阻塞主进程,生产环境慎用。

memory purge 和 activedefrag回收的并不是同一块区域的内存,它简单粗暴的尝试清除脏页以便内存分配器回收。可以根据实际情况和activedefrag配合使用,memory purge在极端情况下效果较好,activedefrag则更彻底。

开启activedefrag自动碎片整理

在Redis 4.0 版本后新增配置项activedefrag,activedefrag默认关闭,计划清理碎片时需手动开启,命令如下:

127.0.0.1:6379> config set activedefrag yes

自动整理内存碎片,其原理是通过scan迭代整个Redis数据,通过一系列的内存复制、转移操作完成内存碎片整理,由于此操作使用的是主线程,故会影响Redis对其他请求的响应。

Redis数据已经删除了,为什么内存占用还是很高?

如上图碎片整理过程:

1. 清理前,C和D之间多了2字节的内存碎片

2. 清理过程:将B和D的数据分别拷贝到C和D之间的闲置空间,这样2个字节的闲置空间就形成了连续空间。当新应用要申请小于3个字节的空间时,这个闲置空间就能利用起来了

清理的条件

active-defrag-ignore-bytes 200mb:内存碎片占用的内存达到 200MB,开始清理;

active-defrag-threshold-lower 20:内存碎片的空间占比超过系统分配给 Redis 空间的 20% ,开始清理



Tags:Redis   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,不构成投资建议。投资者据此操作,风险自担。如有任何标注错误或版权侵犯请与我们联系,我们将及时更正、删除。
▌相关推荐
Redis 不再 “开源”,未来采用 SSPLv1 和 RSALv2 许可证
Redis 官方于21日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause...【详细内容】
2024-03-27  Search: Redis  点击:(11)  评论:(0)  加入收藏
Redis“叛逃”开源,得罪了几乎所有人
内存数据库供应商Redis近日在开源界砸下了一块“巨石”。Redis即将转向双许可模式,并实施更为严格的许可条款。官方对此次变更的公告直截了当:从Redis 7.4版本开始,Redis将在Re...【详细内容】
2024-03-25  Search: Redis  点击:(9)  评论:(0)  加入收藏
如何使用 Redis 实现消息队列
Redis不仅是一个强大的内存数据存储系统,它还可以用作一个高效的消息队列。消息队列是应用程序间或应用程序内部进行异步通信的一种方式,它允许数据生产者将消息放入队列中,然...【详细内容】
2024-03-22  Search: Redis  点击:(17)  评论:(0)  加入收藏
Redis不再 “开源”
Redis 官方今日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause 开...【详细内容】
2024-03-21  Search: Redis  点击:(8)  评论:(0)  加入收藏
在Redis中如何实现分布式锁的防死锁机制?
在Redis中实现分布式锁是一个常见的需求,可以通过使用Redlock算法来防止死锁。Redlock算法是一种基于多个独立Redis实例的分布式锁实现方案,它通过协调多个Redis实例之间的锁...【详细内容】
2024-02-20  Search: Redis  点击:(47)  评论:(0)  加入收藏
手动撸一个 Redis 分布式锁
大家好呀,我是楼仔。今天第一天开工,收拾心情,又要开始好好学习,好好工作了。对于使用 Java 的小伙伴,其实我们完全不用手动撸一个分布式锁,直接使用 Redisson 就行。但是因为这些...【详细内容】
2024-02-19  Search: Redis  点击:(39)  评论:(0)  加入收藏
工作中Redis有哪些好用的运维工具
工作中使用 Redis 时,如果大家公司没有专业运维,可能开发人员就会面临这些运维的工作,包括 Redis 的运行状态监控,数据迁移,主从集群、切片集群的部署和运维等等。本文我就从这三...【详细内容】
2024-02-06  Search: Redis  点击:(55)  评论:(0)  加入收藏
深入Go底层原理,重写Redis中间件实战
Go语言以其简洁、高效和并发性能而闻名,深入了解其底层原理可以帮助我们更好地利用其优势。在本文中,我们将探讨如何深入Go底层原理,以及如何利用这些知识重新实现一个简单的Re...【详细内容】
2024-01-25  Search: Redis  点击:(66)  评论:(0)  加入收藏
批量执行Redis命令的四种方式!
前言在我们的印象中Redis命令好像都是一个个单条进行执行的,如果有人问你如何批量执行Redis命令,你能回答的上吗,或者说能答出几种方式呢?最容易想到的是Redis的一些批量命令,例...【详细内容】
2024-01-17  Search: Redis  点击:(57)  评论:(0)  加入收藏
Redis 实现多规则限流的思考与实践
市面上很多介绍redis如何实现限流的,但是大部分都有一个缺点,就是只能实现单一的限流,比如1分钟访问1次或者60分钟访问10次这种,但是如果想一个接口两种规则都需要满足呢,我们的...【详细内容】
2024-01-03  Search: Redis  点击:(109)  评论:(0)  加入收藏
▌简易百科推荐
Redis 不再 “开源”,未来采用 SSPLv1 和 RSALv2 许可证
Redis 官方于21日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause...【详细内容】
2024-03-27  dbaplus社群    Tags:Redis   点击:(11)  评论:(0)  加入收藏
Redis“叛逃”开源,得罪了几乎所有人
内存数据库供应商Redis近日在开源界砸下了一块“巨石”。Redis即将转向双许可模式,并实施更为严格的许可条款。官方对此次变更的公告直截了当:从Redis 7.4版本开始,Redis将在Re...【详细内容】
2024-03-25    51CTO  Tags:Redis   点击:(9)  评论:(0)  加入收藏
如何使用 Redis 实现消息队列
Redis不仅是一个强大的内存数据存储系统,它还可以用作一个高效的消息队列。消息队列是应用程序间或应用程序内部进行异步通信的一种方式,它允许数据生产者将消息放入队列中,然...【详细内容】
2024-03-22  后端Q  微信公众号  Tags:Redis   点击:(17)  评论:(0)  加入收藏
Redis不再 “开源”
Redis 官方今日宣布修改开源协议 &mdash;&mdash; 未来所有版本都将使用 “源代码可用” 的许可证 (source-available licenses)。具体来说,Redis 将不再遵循 BSD 3-Clause 开...【详细内容】
2024-03-21  OSC开源社区    Tags:Redis   点击:(8)  评论:(0)  加入收藏
在Redis中如何实现分布式锁的防死锁机制?
在Redis中实现分布式锁是一个常见的需求,可以通过使用Redlock算法来防止死锁。Redlock算法是一种基于多个独立Redis实例的分布式锁实现方案,它通过协调多个Redis实例之间的锁...【详细内容】
2024-02-20  编程技术汇    Tags:Redis   点击:(47)  评论:(0)  加入收藏
手动撸一个 Redis 分布式锁
大家好呀,我是楼仔。今天第一天开工,收拾心情,又要开始好好学习,好好工作了。对于使用 Java 的小伙伴,其实我们完全不用手动撸一个分布式锁,直接使用 Redisson 就行。但是因为这些...【详细内容】
2024-02-19  楼仔  微信公众号  Tags:Redis   点击:(39)  评论:(0)  加入收藏
工作中Redis有哪些好用的运维工具
工作中使用 Redis 时,如果大家公司没有专业运维,可能开发人员就会面临这些运维的工作,包括 Redis 的运行状态监控,数据迁移,主从集群、切片集群的部署和运维等等。本文我就从这三...【详细内容】
2024-02-06  waynaqua    Tags:Redis   点击:(55)  评论:(0)  加入收藏
批量执行Redis命令的四种方式!
前言在我们的印象中Redis命令好像都是一个个单条进行执行的,如果有人问你如何批量执行Redis命令,你能回答的上吗,或者说能答出几种方式呢?最容易想到的是Redis的一些批量命令,例...【详细内容】
2024-01-17  小许code  微信公众号  Tags:Redis命令   点击:(57)  评论:(0)  加入收藏
Redis 实现多规则限流的思考与实践
市面上很多介绍redis如何实现限流的,但是大部分都有一个缺点,就是只能实现单一的限流,比如1分钟访问1次或者60分钟访问10次这种,但是如果想一个接口两种规则都需要满足呢,我们的...【详细内容】
2024-01-03  架构精进之路  微信公众号  Tags:Redis   点击:(109)  评论:(0)  加入收藏
一站式Redis解决方案
Redis是一个高效的内存数据库,它支持包括String、List、Set、SortedSet和Hash等数据类型的存储,在Redis中通常根据数据的key查询其value值,Redis没有模糊条件查询,在面对一些需...【详细内容】
2024-01-01  大雷家吃饭    Tags:Redis   点击:(66)  评论:(0)  加入收藏
站内最新
站内热门
站内头条