您当前的位置:首页 > 电脑百科 > 数据库 > Redis

实战Redis,解决高并发性能问题

时间:2021-03-17 10:52:14  来源:  作者:

1. 目的

撰写本文的目的是解决微服务架构,对静态数据资源没有规整,所有微服务都是从数据库直接读取,导致性能较差,用户体验不好。通常在高可用的分布式架构中,一般都会采用将这部分数据放到内存当中,提高系统的访问性能。

如果采用redis这种内存型的缓存数据库,那么针对分布式架构来说,必然要考虑其高可用,因此我们必然要考虑搭建Redis的集群方案来为微服务平台提供保障。

2. 技术体系

Redis 3.0之后的版本支持Cluster。许多公司采用的是阿里云提供的Redis服务,使用的单节点的模式。

3. 缓存对象

3.1. 公共数据

公共数据:用户数据、基础字典等配置信息。

数据类型:经过对现有公共接口数据结构的分析,基本都是以List集合的形式对外输出。

3.2. 独立微服务数据

指的是某个微服务自己使用的数据,如:报表的数据编辑实时填写缓存到Redis。

数据类型: String、List

4. 技术方案

4.1. 阿里云产品介绍

4.1.1. 规格介绍

序号

规格类型

描述

适用场景

1

标准版-单副本

标准版-单副本采用单个数据库节点部署架构

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用单副本版。

l 对Redis协议兼容性要求较高的场景。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

2

标准版-双副本

标准版-双副本采用主从(Replication)模式搭建。

l 对Redis协议兼容性要求较高的业务。

l Redis作为持久化数据存储使用的业务。

l 单个Redis性能压力可控的场景。

l Redis命令相对简单,排序和计算之类的命令较少的场景。

3

集群版-单副本

单副本集群版实例采用集群架构,每个分片服务器采用单副本模式。

l 数据量较大的场景。

l 纯缓存类业务场景。

说明 对数据可靠性要求较高的敏感性业务,不建议使用集群版-单副本。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

l 对数据持久化无要求的缓存类型业务场景。

4

集群版-双副本

双副本集群版实例采用集群架构,每个分片服务器采用双副本模式。

l 数据量较大的场景。

l QPS压力较大的场景。

l 吞吐密集型应用场景。

5

读写分离实例

Redis读写分离版本由代理服务器(Proxy Servers)、主备(Master and Replica)节点及只读(Read-Only)节点组成。

l 读取请求QPS压力较大的场景。

l 对Redis协议兼容性要求较高的业务场景。

l Redis作为持久化数据存储使用的业务场景。

 

 

4.1.2. 规格性能

 

4.2. 服务器配置

目前,在阿里云上,由于各位服务对redis使用量较少,甚至有的服务中基本没有使用,所以当前的配置是1核1G

 

4.3. 三种架构模式

4.3.1. Redis主从

Redis主从模式是最简单的一种集群方案配置起来也比较简单,它的特点主要有:

l 一个master可以拥有多个slave;

l 多个slave链接同一个master,也可以链接其它slave;

l 主从复制不会阻塞master,在同步数据时,master可以继续处理client请求;

l slave 配置为slave-read-only on需要升级为主节点或者写入配置文件中, 而不能在默认slave情况下直接设置master与slave断开后会检测心跳, 重新建立连接;

l 可以直接copy DUMP文件重新重启master,在Master为空以后,slave同步数据会抹掉全部数据。

该方案缺点较多,往Master节点写数据,同时Master节点会异步写入slave节点中。这种方案目前使用的越来越少,不过对于个体开发并且对缓存依赖度不高的系统还是可以使用的,毕竟搭建和维护简单。

应用场景:可用于可穿透的业务场景,如后端有DB存储,脱机影响不大的应用。

互联网服务:实战Redis,解决高并发性能问题

 


互联网服务:实战Redis,解决高并发性能问题

 

4.3.2. Redis sentinel

鉴于4.1.1节描述的standalone类型的架构缺点较多,故在此模式基础上,增加sentinel哨兵,用于监控master/slave运行情况、调度Redis主从切换等。下图中对于sentinel使用了最小粒度的集群模式,最大限度地实现较小规模的高可用缓存。

互联网服务:实战Redis,解决高并发性能问题

 


互联网服务:实战Redis,解决高并发性能问题

 

应用场景:用于高可用需求场景,可用于高可用Cache,存储等场景。 内存/QPS受限于单机。

4.3.3. Redis Cluster

可直接采用官方给出的推荐方案,将node配置成主从结构。图下图所示为最小节点的Redis高并发、高可用集群。

应用场景:用于高可用需求场景,可用于大数据量高可用Cache/存储等场景。 内存/QPS不受限于单机,可受益于分布式集群高扩展性。

互联网服务:实战Redis,解决高并发性能问题

 


互联网服务:实战Redis,解决高并发性能问题

 

4.4. 数据存储格式

鉴于我们的微服务众多,为了规避key一样的情况发生。因此,需要约定下存储格式:服务名#业务分类名##key(调用的key)

公共接口数据key约定:服务器ID#user##key(调用的key);

独立微服务数据key约定:服务器ID#服务名##users##getUsersDetail(调用的key);

以上所有的“cs#user##”或“服务名#”开头的前缀,统一由公共接口实现,业务方使用时的入口为最后的key即可。

4.5. 可用API

接口:IRedisService

序号

接口定义

描述

 

1

boolean set(String key, Object value)

添加String类型的缓存数据

 

2

boolean set(String key, Object value, Long expireTime)

自定义有效时间的String类型缓存数据

 

3

Object get(String key)

读取String类型的缓存

 

4

void setHash(String key, Map<?,?> map)

哈希 添加Map

 

5

Object getHash(String key)

获取哈希数据

 

6

void setList(String key, Object value)

List列表添加

 

7

List<Object> getList(String key, long start, long end)

List列表获取

start 开始

end 结束 0 到 -1代表所有值

8

void addSet(String key, Object value)

Set集合添加

 

9

Set<Object> getSet(String key)

Set集合获取

 

10

void addZSet(String key, Object value, double scoure)

ZSet有序集合添加

 

11

Set<Object> getZSet(String key, double scoure, double scoure1)

ZSet有序集合获取

 

12

boolean expire(String key,long time)

指定某key的缓存有效时间

 

13

long getExpire(String key)

获取指定key的过期时间

 

14

void remove(String... keys)

删除一组或单个key的缓存数据

 

15

boolean exists(String key)

判断缓存中是否有对应的value

 

 

5. 运行保障

5.1. 监控指标

连接客户数

阻塞连接数

Redis占用内存

内存峰值

主从角色

master_link_status

执行命令总数和qps

上报时间



Tags:高并发   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,...【详细内容】
2021-12-08  Tags: 高并发  点击:(23)  评论:(0)  加入收藏
一、幂等性概念在数学里,幂等有两种主要的定义。1、在某二元运算下,幂等元素是指被自己重复运算(或对于函数是为复合)的结果等于它自己的元素。例如,乘法下唯一两个幂等实数为0和...【详细内容】
2021-10-09  Tags: 高并发  点击:(43)  评论:(0)  加入收藏
原文链接: https://mp.weixin.qq.com/s/MTw7z6n_wk4y4CTmGkoRoA一切要从CPU说起你可能会有疑问,讲多线程为什么要从CPU说起呢?原因很简单,在这里没有那些时髦的概念,你可以更加清...【详细内容】
2021-08-13  Tags: 高并发  点击:(96)  评论:(0)  加入收藏
题目:高并发情况下,数据库该如何设计?Java高级面试题:为什么要分库分表( 设计高并发系统的时候 , 数据库层面该如何设计 ) ? 用过哪些分库分表中间件 ? 不同的分库分表中间件都有什么...【详细内容】
2021-06-18  Tags: 高并发  点击:(119)  评论:(0)  加入收藏
1. 目的撰写本文的目的是解决微服务架构,对静态数据资源没有规整,所有微服务都是从数据库直接读取,导致性能较差,用户体验不好。通常在高可用的分布式架构中,一般都会采用将这部...【详细内容】
2021-03-17  Tags: 高并发  点击:(157)  评论:(0)  加入收藏
元旦期间 订单业务线 告知 推送系统 无法正常收发消息,作为推送系统维护者的我正外面潇洒,无法第一时间回去,直接让 ops 帮忙重启服务,一切好了起来,重启果然是个大杀器。由于推...【详细内容】
2021-01-07  Tags: 高并发  点击:(146)  评论:(0)  加入收藏
本文主要介绍的微服务是spring cloud,它一个服务治理框架和一系列框架的由序集合,其利用springboot的开发便利性巧妙的简化了分布式系统基础设施的开发,如服务发现注册、负载...【详细内容】
2020-10-20  Tags: 高并发  点击:(105)  评论:(0)  加入收藏
一、什么是分布式?分布式更多的是一个概念,是为了解决单个物理服务器容量和性能瓶颈问题而采用的优化手段,该领域需要解决的问题极多,在不同的技术层面上,又包括:分布式文件系统...【详细内容】
2020-10-14  Tags: 高并发  点击:(91)  评论:(0)  加入收藏
作为热点频出的电商系统,经常遇到高并发,热点秒杀的场景。我们在开发设计高并发海量业务请求的系统时,通常利用三板斧:缓存、降级和限流来保障系统稳定性。...【详细内容】
2020-09-27  Tags: 高并发  点击:(68)  评论:(0)  加入收藏
前言一台服务器并发TCP连接数可以有多少?如何支持从硬件和操作系统上支持单台服务器支持上万并发,支持百万千万,甚至上亿的并发著名的C10K并发连接问题是什么?C10M并发问题又是...【详细内容】
2020-09-01  Tags: 高并发  点击:(102)  评论:(0)  加入收藏
▌简易百科推荐
来源: my.oschina.net/xiaomu0082/blog/2990388首先说下问题现象:内网sandbox环境API持续1周出现应用卡死,所有api无响应现象刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应...【详细内容】
2021-12-08  Java识堂    Tags:Redis   点击:(16)  评论:(0)  加入收藏
我不知道为什么你会选择对特定数量的“错误”(或警告)如此具体。听起来您正在寻找将要发布到 Yahoo! 的某些文章的内容。 Insider (N Foos to Blah for the BlahBlah)。那说:...【详细内容】
2021-12-07  富集云科技有限公司    Tags:Redis   点击:(14)  评论:(0)  加入收藏
目录 一、背景 二、步骤 0.理论支持 1、获取数据 2、结果 3、分析数据并评估大小 三、关于repl-backlog-size 一、背景 repl-backlog-size控制这个环形缓冲区. ​ 主从断...【详细内容】
2021-11-05  弈秋的美好生活    Tags:redis   点击:(41)  评论:(0)  加入收藏
Redis 性能测试是通过同时执行多个命令实现的。1,Redis-benchmarkRedis性能命令:redis性能命令格式: redis-benchmark [option] [option value] redis 性能测试工具可选参数如...【详细内容】
2021-11-02  川石信息    Tags:Redis   点击:(41)  评论:(0)  加入收藏
1 概述数据结构和内部编码 无传统关系型数据库的 Table 模型schema 所对应的db仅以编号区分。同一 db 内,key 作为顶层模型,它的值是扁平化的。即 db 就是key的命名空间。 key...【详细内容】
2021-11-01  JavaEdge    Tags:Redis   点击:(28)  评论:(0)  加入收藏
普通java中使用引用Java redis 驱动,即可连接:import redis.clients.jedis.Jedis; public class RedisTestJava { public static void main(String[] args) { //连...【详细内容】
2021-10-13  faesuite    Tags:Redis   点击:(34)  评论:(0)  加入收藏
Redis常用的数据结构有 string list set zset hashstringstring 是 Redis 的基本的数据类型,一个 key 对应一个 value。string 类型是二进制安全的,Redis的string可以包含任...【详细内容】
2021-10-12  语霖    Tags:Redis   点击:(36)  评论:(0)  加入收藏
列表类型可以存储一组按插入顺序排序的字符串,它非常灵活,支持在两端插入、弹出数据,可以充当栈和队列的角色。> LPUSH fruit apple(integer) 1> RPUSH fruit banana(integer)...【详细内容】
2021-09-17  深夜敲代码    Tags:Redis   点击:(54)  评论:(0)  加入收藏
Redis持久化意义 是做灾难恢复,数据恢复,也可以归类到高可用的一个环节里面去,比如你的redis整个挂了,然后redis就不可用了,你要做的事情是让redis变得可用,尽快变得可用 大量的请...【详细内容】
2021-08-12  小李说IT    Tags:Redis   点击:(77)  评论:(0)  加入收藏
当查询Redis中没有的数据时,该查询会下沉到数据库层,同时数据库层也没有该数据,当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据...【详细内容】
2021-07-30  随便t    Tags:缓存穿透   点击:(90)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条