您当前的位置:首页 > 电脑百科 > 程序开发 > 编程百科

怎样应对缓存穿透?

时间:2019-11-12 11:20:21  来源:  作者:

1为什么需要缓存

  1. 如果没有缓存,那么所有业务请求会直接指向数据库,以MySQL为例的数据库基本都是基于磁盘的,而磁盘I/O开销大,面对大规模请求时,会降低系统性能。
  2. 对一些热点数据,将其从数据库中抽离出来放进缓存,每次查询时先走缓存,缓存命中则直接返回结果,能提高效率。

2缓存带来的问题

有三个经典问题:

  1. 缓存雪崩:指缓存大面积失效,导致大量查询落到了数据库上,使数据库挂掉。
  2. 缓存击穿:缓存中热点key突然失效,原本走缓存的大量请求直接打向了数据库,就好像在缓存中击穿了一个洞。
  3. 缓存穿透:用户一直请求缓存和数据库都不存在的数据,每次请求缓存不命中,数据库也不命中,就像缓存不存在一样,同时不断地请求也给数据库带来压力。

3应对方案

这里主要介绍 缓存穿透 的解决方案,先看两幅原理图。

用户请求大致原理图:

怎样应对缓存穿透?

 

用户发出请求后先查缓存,缓存命中则直接返回;

缓存不命中就查数据库,查到后将数据写入缓存并返回给用户。

用户请求缓存和数据库都没有的数据(即缓存穿透,如请求id=-1的数据):

怎样应对缓存穿透?

 

此时缓存基本失去了作用。

常见的解决思路:

将用户请求的不存在的数据也放进缓存,并将值置为null,这样请求走缓存的时候发现结果为null,直接返回即可。

但是需要给缓存中的key设置一个合适的过期时间,否则数据库中有了这样的数据,就会出现 数据不一致 问题。

更好的解决思路:

使用 布隆过滤器(Bloom Filter) 。 它可用于快速判断数据是否存在于某个集合中,借助这个功能,我们可用它来应对缓存穿透。

回顾一下布隆过滤器的两条重要特性:

1. 布隆过滤器判定数据存在,那么它可能存在也可能不存在。

2. 布隆过滤器判定数据不存在,那么它一定不存在。

加上布隆过滤器之后:

怎样应对缓存穿透?

 

用户请求数据,若Bloom Filter返回false,则直接过滤该请求或返回null;若 Bloom Filter 返回true,则查缓存,缓存命中则返回,不命中则查数据库。

Bloom Filter 就好像是加在缓存前的一道 屏障 ,过滤了几乎所有不符合要求的请求。虽然有一定的误判率,即可能有少数通过了 Blo om Filter 的请求在数据库和缓存中也还是不命中,但相比之下,整个系统性能已经大大提升,且 Blo om Filter 的默认误判率只有0.03.

顺带提一下缓存击穿和缓存雪崩的解决方案。

缓存击穿:

在被查询的数据上加互斥锁,一条请求线程拿到锁后其它线程只能等待。

缓存雪崩:

事前:尽量保证整个 redis 集群的高可用性,发现机器宕机尽快补上。选择合适的内存淘汰策略。

事中:本地ehcache缓存 + hystrix限流&降级,避免MySQL崩掉。

事后:利用 redis 持久化机制保存的数据尽快恢复缓存。



Tags:缓存   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
如何清除您的 电脑的DNS 缓存 1.开始键+r开始键+R(Win+R) 2.输入:cmd 3.输入:ipconfig /flushdns...【详细内容】
2021-08-25  Tags: 缓存  点击:(52)  评论:(0)  加入收藏
大家好!今天和大家分享一个清理手机缓存的方法! 大家有没有感觉安卓手机用一段时间之后内存就占用非常多,而且非常卡。如果恢复出厂设置又太麻烦,那么可以试一下下面的方法。 一...【详细内容】
2021-08-17  Tags: 缓存  点击:(109)  评论:(0)  加入收藏
1.安装依赖环境yum -y install wget gcc-c++ ncurses ncurses-devel cmake make perl bison openssl openssl-devel gcc* libxml2 libxml2-devel curl-devel libjpeg* libpn...【详细内容】
2021-08-03  Tags: 缓存  点击:(63)  评论:(0)  加入收藏
当查询Redis中没有的数据时,该查询会下沉到数据库层,同时数据库层也没有该数据,当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据...【详细内容】
2021-07-30  Tags: 缓存  点击:(91)  评论:(0)  加入收藏
我们的微信体积越来越大,该怎样查看?该怎样为其减肥呢?重点来了。在微信缓存中“FileStorage”文件夹时发现了其目录下的“Image”文件夹,可能是使用过程中缓存的聊天图片等,但是...【详细内容】
2021-05-20  Tags: 缓存  点击:(527)  评论:(0)  加入收藏
目前的互联网系统没有几个不使用缓存的, 但是只要使用缓存的话就会面临这几个问题, 如使用redis缓存技术, 可能会遇到缓存的雪崩, 穿透, 以及击穿. 首先来看一个简单的正常...【详细内容】
2021-05-19  Tags: 缓存  点击:(150)  评论:(0)  加入收藏
谷歌去年在 Android 版 Chrome 浏览器上引入了对“往返缓存”的支持,当用户点击后退或前进按钮时,可以瞬时加载页面。据外媒 Windows Latest 报道,谷歌 Chrome 92 版本已添加了...【详细内容】
2021-05-14  Tags: 缓存  点击:(183)  评论:(0)  加入收藏
更多内容,欢迎关注微信公众号:全菜工程师小辉~缓存穿透缓存系统,一般流程都是按照key去查询缓存,如果不存在对应的value,就去后端系统(例如:持久层数据库)查找。如果key对应的value...【详细内容】
2021-04-12  Tags: 缓存  点击:(310)  评论:(0)  加入收藏
0x01:FIFO算法  FIFO(First in First out),先进先出。其实在操作系统的设计理念中很多地方都利用到了先进先出的思想,比如作业调度(先来先服务),为什么这个原则在很多地方都会用到...【详细内容】
2021-04-09  Tags: 缓存  点击:(343)  评论:(0)  加入收藏
Windows 10务必删除这五大缓存,提升电脑速度非常显著不知道大家有没有发现,随着时间的推移。我们的电脑不管是上网速度,还是开机速度或者是硬盘的读写速度。都会有不同程度的下...【详细内容】
2021-03-12  Tags: 缓存  点击:(246)  评论:(0)  加入收藏
▌简易百科推荐
本文分为三个等级自顶向下地分析了glibc中内存分配与回收的过程。本文不过度关注细节,因此只是分别从arena层次、bin层次、chunk层次进行图解,而不涉及有关指针的具体操作。前...【详细内容】
2021-12-28  linux技术栈    Tags:glibc   点击:(3)  评论:(0)  加入收藏
摘 要 (OF作品展示)OF之前介绍了用python实现数据可视化、数据分析及一些小项目,但基本都是后端的知识。想要做一个好看的可视化大屏,我们还要学一些前端的知识(vue),网上有很多比...【详细内容】
2021-12-27  项目与数据管理    Tags:Vue   点击:(2)  评论:(0)  加入收藏
程序是如何被执行的  程序是如何被执行的?许多开发者可能也没法回答这个问题,大多数人更注重的是如何编写程序,却不会太注意编写好的程序是如何被运行,这并不是一个好...【详细内容】
2021-12-23  IT学习日记    Tags:程序   点击:(9)  评论:(0)  加入收藏
阅读收获✔️1. 了解单点登录实现原理✔️2. 掌握快速使用xxl-sso接入单点登录功能一、早期的多系统登录解决方案 单系统登录解决方案的核心是cookie,cookie携带会话id在浏览器...【详细内容】
2021-12-23  程序yuan    Tags:单点登录(   点击:(8)  评论:(0)  加入收藏
下载Eclipse RCP IDE如果你电脑上还没有安装Eclipse,那么请到这里下载对应版本的软件进行安装。具体的安装步骤就不在这赘述了。创建第一个标准Eclipse RCP应用(总共分为六步)1...【详细内容】
2021-12-22  阿福ChrisYuan    Tags:RCP应用   点击:(7)  评论:(0)  加入收藏
今天想简单聊一聊 Token 的 Value Capture,就是币的价值问题。首先说明啊,这个话题包含的内容非常之光,Token 的经济学设计也可以包含诸多问题,所以几乎不可能把这个问题说的清...【详细内容】
2021-12-21  唐少华TSH    Tags:Token   点击:(10)  评论:(0)  加入收藏
实现效果:假如有10条数据,分组展示,默认在当前页面展示4个,点击换一批,从第5个开始继续展示,到最后一组,再重新返回到第一组 data() { return { qList: [], //处理后...【详细内容】
2021-12-17  Mason程    Tags:VUE   点击:(14)  评论:(0)  加入收藏
什么是性能调优?(what) 为什么需要性能调优?(why) 什么时候需要性能调优?(when) 什么地方需要性能调优?(where) 什么时候来进行性能调优?(who) 怎么样进行性能调优?(How) 硬件配...【详细内容】
2021-12-16  软件测试小p    Tags:性能调优   点击:(20)  评论:(0)  加入收藏
Tasker 是一款适用于 Android 设备的高级自动化应用,它可以通过脚本让重复性的操作自动运行,提高效率。 不知道从哪里听说的抖音 app 会导致 OLED 屏幕烧屏。于是就现学现卖,自...【详细内容】
2021-12-15  ITBang    Tags:抖音防烧屏   点击:(25)  评论:(0)  加入收藏
11 月 23 日,Rust Moderation Team(审核团队)在 GitHub 上发布了辞职公告,即刻生效。根据公告,审核团队集体辞职是为了抗议 Rust 核心团队(Core team)在执行社区行为准则和标准上...【详细内容】
2021-12-15  InfoQ    Tags:Rust   点击:(25)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条