您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

分布式多级缓存系统设计与实战

时间:2023-05-05 12:07:28  来源:政采云技术  作者:

1. 缓存系统概述

 

图片

如上图,是一次最基本的网络请求。用户请求从界面(浏览器或 App 界面)到网络转发、应用服务再到存储(数据库或文件系统),然后返回到界面呈现内容。

 

随着互联网的普及,内容信息越来越复杂,用户数和访问量越来越大,我们的应用需要支撑更多的并发量,同时我们的应用服务器和数据库服务器所做的计算也越来越多。但是往往我们的应用服务器资源是有限的,数据库每秒能接受的请求次数也是有限的。如何能够有效利用有限的资源来提供尽可能大的吞吐量?是每个开发同学绕不开的课题。一个有效的办法就是引入缓存,打破标准流程,如下图1到4每个环节中请求可以从缓存中直接获取目标数据并返回,从而减少计算量,有效提升响应速度,让有限的资源服务更多的用户。

图片

image.png

缓存可以应用上图1到4个的各个环节中,且不同环节缓存策略略有不同。本文将主要从3和4点讲解缓存的使用。

2. 缓存架构演变

2.1. 无缓存架构

 

图片

如上图,是一次最基本的网络请求。请求从网络层直接请求到 DB。此时请求耗时最大卡点在数据库的磁盘 IO 上。

 

2.2. 引入分布式缓存数据库

 

针对2.1无缓存架构的数据库磁盘IO耗时,可添加了一道缓存数据库例如 redis。借助缓存中间件,可消除数据库的 IO 瓶颈。快速返回数据。如下图:

图片

通过缓存数据库1、可防止流量直接打到数据库层,减缓数据库压力。2、缓存快速返回,可提高请求查询速率。

 

2.2.1 为什么选择redis?

  • 内存操作,无磁盘 IO 耗时
  • key-value 数据库,时间复杂度 O(1),相比数据库的 O(Log n),访问速度更快
  • IO 多路复用线程模型,IO 阶段无阻塞

此时系统卡点在缓存数据库的网络通信上。即使缓存数据库读取数据很快,但是和应用服务间仍然隔着一层网络通信。

2.3. 引入 JVM 本地缓存

 

针对2.2缓存数据库架构,访问缓存数据库的网络通信问题,可在 JVM 应用层添加本地缓存,解决网络 IO 问题。如下图

图片

 

在应用内部新增本地缓存,使流量在应用层直接返回。避免进一步访问到 redis。

本架构虽然可大大提高数据读取速率,但其成本也是更高的。

  • 需要在多台 JVM 机器上冗余缓存,对内存要求高。
  • 缓存在多台 JVM 实例,数据一致性维护成本高。

建议根据自身业务场景,从以下3方面考量是否才有本地缓存。

  • 业务访问量 QPS
  • 硬件资源内存是否充足
  • 变更场景是否频繁

常用本地缓存

  • JDK MAP
  • guavaCache
  • Caffeine Cache

2.3.1 数据读取流程

图片

按优先级依次从本地、redis、DB 中读取数据。实现了本地(一级缓存)、缓存数据库(二级缓存)和 DB 的多级缓存架构。

3. 痛点和优化

3.1 数据一致性问题

 

存在多级缓存,虽然大大提高了数据的读取速率。但是数据散落在各个不同的区域,数据一致性就是一个绕不过去的问题。特别是针对本地缓存,同时散落在多个多台 JVM 实例中。数据变更时,必须同步修改redis、本地缓存和DB。以下是基于canal + 广播消息实现的一致性异步处理方案。

图片

 

  • DB 修改数据
  • 通过监听 canal 消息,触发缓存的更新
  • 针对 redis 缓存中,因为集群中只共享一份,直接同步缓存即可
  • 针对本地缓存,因为集群中存在多分,且分散在不同的 JVM 实例中。故再借助广播 MQ 机制,通知到各个业务实例。同步本地缓存

3.1.1 同步缓存机制

  • 直接删除缓存,查询时直接加载

优点:操作简单

缺点:未命中缓存时,取重新加载。此次查询请求慢。

  • 重新加载缓存
  • 优点:提前设置缓存,查询效率高

**注意:**此方案同步缓存,为先 DB 操作、后异步同步缓存。会存在短暂 DB 和缓存不一致场景。需根据自身业务场景考量,如有必要,可前置删除缓存,再 DB 操作。

3.2. 热点 key 监控

 

以上架构,系统缓存只能被动加载。只有 key 被访问后,系统才能触发加载。在高并发的情况下,如一直出现缓存穿透,大量流量请求到数据库,对数据库还是很大的考验。所以优秀的缓存系统,应该能自动识别出热点 key。前置将数据缓存下来。

图片

 

3.2.1 热点 key 探测

引入缓存中间调度服务:热点 key 探测中间服务器概念

  • 1、业务实例汇总 key 访问情况并将上报到“热点 key 探测中间服务器”。
  • 2、“热点 key 探测中间服务器”根据各业务实例上报的信息,识别该 key 是否为热点。
  • 3、“热点 key 探测中间服务器”将识别结果通知到各业务实例。
  • 如若为热点 key:业务实例自动预热缓存,等待流量访问。
  • 如若非热点 key:业务实例释放该热点 key,释放内存占用。

详情见:参考

4. 缓存注意事项

4.1 key 设计

  • 长度短:redis key 越短,占用内存越小
  • 高命中率:命中率不高,缓存意义不大

4.1.1 value 设计

  • 尽可能小,避免出现 big key

redis 是单线程机制,big key 会阻塞后续请求。

仅缓存必要的字段,不必要字段,及时瘦身

  • 2、改少读多
  • 变更频繁的数据不建议缓存,频繁的数据变更会导致缓存实现和一致性同步问题,反而会损耗系统性能

  • 3、计算逻辑复杂的结果

4.1.2 缓存穿透

访问一个不存在的 key。由于实际上并不存在,所以每次都会访 DB

  • 解决方案
  • 缓存空值或默认对象(依据业务场景)
  • 布隆过滤器

4.1.3 缓存击穿

某个 key 瞬间访问量过大,但突然过期,导致大部分流量打到了 DB

  • 解决方案
  • histrix 保护,对 DB 的访问限流
  • 只有获得锁的线程才能去 DB 读取数据,并填充到缓存中
  • 1.使用互斥锁
  • 2.永不过期
  • 3.资源保护

4.1.4 缓存雪崩

由于大部分 key 设置了相同的失效时间,某一时间大量缓存同时失效,导致大部分流量瞬间打到 DB,导致 DB 压力过大。

  • 解决方法
  • key 使用不同的过期时间,或者加一个随机时间

5. 实战经验

  • 评估预计占用的缓存大小,避免占满 redis 集群和 JVM 内存
  • 评估预计 QPS,如2.2架构。大量从 redis 中获取对象,会涉及平凡的对象反序列化操作,此处存在耗 CPU 操作。
  • 严格禁止 bigKey。redis的单线程模型,出现 bigKey 会严重降低 redis 服务吞吐量。
  • 必须设置过期时间

6. 踩坑记录

6.1. 本地缓存被污染

由于缓存在 JVM 内部,且保存在老年代。业务方拿去使用的时候,直接修改了缓存的数据,导致缓存数据不正确。

  • 解决

取对象时,直接 copy 一份。(复制对象耗 CPU,不推荐)

将缓存对象设置成不可编辑。(推荐)

6.2. 缓存计算结果,而不是响应结果

缓存的 value 是 Response 对象,首次请求失败,导致缓存的数据为response.success=false。后续所有命中均操作失败。

  • 解决
  • 将缓存结果由 Response,调整为实际的计算结果

6.3. 本地内存彪高,触发频繁 full GC

初次引入本地缓存(之前是 redis )。将大量数据缓存在本地,导致 JVM 内存彪高。

  • 解决

引入本地缓存前考虑预计内存,进而考虑是否值得接入本地缓存。

仅缓存热点 key,非热点 key 不缓存在本地

6.4. 降级到 redis 缓存,CPU 彪高

为优化 JVM 内存,将本地缓存降级到 redis。QPS 高场景,触发大量序列化和young GC,导致系统 CPU 彪高。

  • 解决

评估 QPS,考虑是否可降级

仅缓存热点 key,非热点 key 不缓存在本地

7. 总结

在计算机世界里,缓存无处不在。但不管缓存系统如何设计,其本质都是空间换时间。也就是提升数据的获取速率。

缓存系统的设计各有千秋、各有优劣。没有最优秀的架构,只有最适合的架构。应该根据自身实际业务情况考虑缓存架构的设计。并从缓存命中率、数据库压力、数据一致性、系统吞吐量等综合评估设计的合理性。



Tags:分布式   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
1. 缓存系统概述 如上图,是一次最基本的网络请求。用户请求从界面(浏览器或 App 界面)到网络转发、应用服务再到存储(数据库或文件系统),然后返回到界面呈现内容。 随着互联网的普...【详细内容】
2023-05-05  Tags: 分布式  点击:(0)  评论:(0)  加入收藏
1.区块链是什么?区块链是一个分布式账本,它的存储方式和交易方式与数据库不同,它具有去中心化的特点。去中心化意味着数据在多个节点之间共享,每个节点都有不同的记录。而数据...【详细内容】
2023-04-24  Tags: 分布式  点击:(6)  评论:(0)  加入收藏
一、 分布式锁简介分布式锁是一种常见的协调分布式系统的机制,在分布式环境下保证数据的一致性和可用性。分布式锁的实现有很多种方式,其中较为常见的方式是利用Redis实现分布...【详细内容】
2023-04-12  Tags: 分布式  点击:(19)  评论:(0)  加入收藏
​01引言随着我国“碳达峰、碳中和”目标的提出,太阳能发电、风电等零碳电力能源将逐渐成为我国主要的电力能源形式。2022年6月,工信部、发改委、财政部等六部门联合发布《工...【详细内容】
2023-04-04  Tags: 分布式  点击:(33)  评论:(0)  加入收藏
一飞开源,介绍创意、新奇、有趣、实用的免费开源应用、系统、软件、硬件及技术,一个探索、发现、分享、使用与互动交流的开源技术社区平台。致力于打造活力开源社区,共建开源新...【详细内容】
2023-03-17  Tags: 分布式  点击:(79)  评论:(0)  加入收藏
Spring Boot 是一个基于 Spring 框架的快速开发框架,而 RabbitMQ 和 RocketMQ 则是常用的消息队列中间件。下面是它们常用的一些用法和场景。 订单处理在电商等系统中,下单后...【详细内容】
2023-03-09  Tags: 分布式  点击:(52)  评论:(0)  加入收藏
自从树莓派推出以来,创造者们已经在这个简陋的袖珍芯片系统上开展了无数的计算机科学教育项目。其中包括许多探索低成本树莓派集群的项目,以介绍 并行和分布式计算Parallel an...【详细内容】
2023-03-09  Tags: 分布式  点击:(38)  评论:(0)  加入收藏
常见分布式协议和算法的说明和对比开发分布式系统最关键的就是根据场景特点,选择合适的算法,在一致性和可用性之间妥协折中,而妥协折中的关键就在于能否理解各算法的特点。分布...【详细内容】
2023-03-08  Tags: 分布式  点击:(33)  评论:(0)  加入收藏
在分布式系统中,接口幂等性是一个非常重要的概念,它保证了在同样的条件下,同一请求的多次执行所产生的效果都是相同的。在实际开发中,为了防止重复提交或者重复操作带来的问题,我...【详细内容】
2023-03-07  Tags: 分布式  点击:(56)  评论:(0)  加入收藏
一、背景在《​​# 分布式锁上-初探​​》中有提到一个分布式锁应具备的功能特点中有避免死锁这一条:如果某个客户端获得锁之后处理时间超过最大约定时间,或者持锁期间内发生...【详细内容】
2023-03-07  Tags: 分布式  点击:(34)  评论:(0)  加入收藏
▌简易百科推荐
1. 缓存系统概述 如上图,是一次最基本的网络请求。用户请求从界面(浏览器或 App 界面)到网络转发、应用服务再到存储(数据库或文件系统),然后返回到界面呈现内容。 随着互联网的普...【详细内容】
2023-05-05    政采云技术  Tags:分布式   点击:(0)  评论:(0)  加入收藏
经常有同学问:“到底怎样才算一个优秀的数据分析项目?”“我平时干的都很简单,算不算项目?”今天系统跟大家讲解一下。 首先大家要明白,并不是所有的项目,都需要找一个万人大会堂,...【详细内容】
2023-05-05    接地气的陈老师  Tags:数据分析   点击:(0)  评论:(0)  加入收藏
在保护用户网络安全的战场上,密码一直都站在最前沿。但密码技术本身,也有着易遭破解、难于记忆、管理不便等不足和应用挑战。在今年的世界密码日前夕,Google公司正式发布了一...【详细内容】
2023-05-05  安全牛    Tags:通行密钥   点击:(0)  评论:(0)  加入收藏
在x86下能不能混着用寄存器呢?就比如 windows 上的 fastcall 调用协定,其实是可以的,就是在 mytest 方法上加 __attribute__((regparm(N))) 标记,这里的 N 不能超过 3 ,即参与...【详细内容】
2023-05-04  一线码农聊技术    Tags:编程   点击:(11)  评论:(0)  加入收藏
大家好,我是前端西瓜哥。最近我有个个人需求,要写个小脚本。我有一个基于 hexo 生成的个人静态博客网站,想要给博客的所有的篇文章的尾部加一段广告文案,我不想写这种没啥意思的...【详细内容】
2023-05-04  前端西瓜哥  微信公众号  Tags:脚本   点击:(11)  评论:(0)  加入收藏
畅想未来,如果科技真的非常发达,那么社会应该不在需要上班的工人——全部由机器人和人工智能包办就好了。但是实际上科技带给现代普通人更多的焦虑,码农最终也成为了...【详细内容】
2023-05-03    CSDN  Tags:编程   点击:(5)  评论:(0)  加入收藏
取代C++!微软正在改用Rust语言重写Win11内核微软已经确定结束对Win10进行功能更新,其更多精力将转移到Win11以及“Win12”上。在日前举办的BlueHat IL 2023 大会上,微软企业和...【详细内容】
2023-04-29  3DMGAME  搜狐号  Tags:Rust   点击:(8)  评论:(0)  加入收藏
您是否需要确定自己的数据集存在性别或种族方面的偏误?是否需要确保所使用的机器学习模型没有偏误,即使数据有偏误?如果您对上述问题的回答是肯定的,那么这篇文章就适合您阅读。...【详细内容】
2023-04-28  布加迪  51CTO  Tags:数据   点击:(17)  评论:(0)  加入收藏
“如今流行的许多关于干净代码的‘最佳实践’是引发程序性能灾难的直接原因。”这是西雅图资深游戏开发专家凯西·穆拉托里在其个人网站所发表文章中的一段...【详细内容】
2023-04-28    51CTO  Tags:干净代码   点击:(9)  评论:(0)  加入收藏
在信息爆炸的时代,如何快速、准确地获取所需信息成为了许多人的问题。而邮件采集筛选技术,可以帮助我们在海量信息中快速找到所需内容。下面就让我们逐步了解邮件采集筛选技术...【详细内容】
2023-04-28  不要太墨迹    Tags:采集   点击:(10)  评论:(0)  加入收藏
站内最新
站内热门
站内头条