您当前的位置:首页 > 电脑百科 > 数据库 > Redis

Redis内存又不够用了?教你几种集群方案轻松甩掉存储难题

时间:2019-07-25 10:03:54  来源:  作者:

redis,一款技术研发者们耳熟能详的内存数据库。作为数据库,存储数据的容量都是有限的,不能超过主机内存的大小。通常而言,一台主机服务器的内存只有十几G,较大可达100G或200G。

Redis内存又不够用了?教你几种集群方案轻松甩掉存储难题

 

为了解决Redis存储瓶颈问题,各大企业纷纷开始寻找解决方案,将数据分片(sharding)存储在多个Redis实例之中,每一个分片就是一个Redis实例,然后实现多个Redis实例协同运行。这就是Redis集群原理。本篇将围绕Redis集群方案展开重点介绍。

Redis集群实现方式:

  • 分区,将数据分割划分到多个Redis实例中去,然后保证每个实例只保存key的一个子集;
  • 通过多台计算机的内存和值构造更大的数据库;
  • 通过多台计算机扩展计算能力;
  • 通过多台计算机机和网络适配,扩展网络宽带。

集群的实现方式:

  • 客户端分片
  • 基于代理的分片
  • 路由查询

下面我们对三种实现方式展开介绍:

客户端分片

客户端分片就是将分片工作放在业务程序端实现,程序代码根据Redis客户端预先定义好的路由规则,直接对不同的Redis实例进行分布式访问,最终再把结果汇集在一起。

Redis内存又不够用了?教你几种集群方案轻松甩掉存储难题

 

这种方案的优势就在于所有逻辑都是可以控制的,没有第三方中间件干预,开发人员很清楚如何实现分片及路由规则,实现方法完全由自己掌控。

但是客户端分片方案的弊端也是令开发者也是十分懊恼的。由于客户端分片方案是一种静态的分片方案,无论是增加或是减少Redis实例的数量,都必须要开发者手动调整分片程序,对开发者的依赖很强;其次在运维上,该方案运维性较差,一旦集群数据出现问题,就需要开发人员和运维人员共同解决,在不同的客户端程序中,维护相同的分片逻辑成本很大,需要消耗巨大的开发成本才能保证两套业务系统分片逻辑一致。所以,客户端分片方案并不适合中小型的企业使用。

基于代理的分片

基于代理分片就是客户端发送请求到一个代理,由代理来解析客户端的数据,再将请求转发到正确的节点,最终将结果回复给客户端。常用的基于代理的分片方案有两种,Twemproxy、codis。

Twemproxy

Twemproxy是一款由Twitter开源的redis proxy方案,在Twitter、Yahoo都有使用。当Twemproxy工作时,Redis客户端会把请求发送到Twemproxy,Twemproxy会使用一致性hash算法,根据路由规则发送正确的Redis实例,最后Twemproxy再把结果返给客户端,从而实现Redis集群。

由于Twemproxy是单线程方案,所以只能使用单核cpu,如果前端含keepalive或haproxy相关代理,可以为Twemproxy做1+1准备。

当Twemproxy应用于多台Redis服务器时,那么实现的性能只能达到单台Redis服务器80%,剩余20%性能损耗。Redis-Sentinel是Redis官方推荐的一种高可用性解决方案,当用Redis做Master-slave的高可用方案时,如果Master宕机了,Twemproxy会订阅Sentinel,完成主备切换。由于Redis-sentinel本身是一个独立运行的进程,它能监控多个master-slave集群,发现master宕机后可以进行自动切换。

Twemproxy优点:

  • 支持Redis和memcached两种集群代理;
  • 后端Redis和memcached无需任何改动,只需要提供IP和端口给Twemproxy即可,操作简单;
  • 支持无效Redis实例的自动删除;
  • 支持状态监控......

Twemproxy不足:

  • 无法动态扩容,如果需要扩容功能,必须研发人员手动迁移,比较繁琐;
  • 由于Redis客户端的请求都需要经过Twemproxy才能到达Redis服务器,期间难免会产生性能损失;
  • 无法平滑地扩容/缩容,对于运维人员来说,如果业务需要增加Redis实例,工作量会非常大......

Codis

Codis是由豌豆荚于2014年11月在GitHub上开源,基于Go和C语言,支持平滑增加Redis实例的集群解决方案。使用Codis时,设置好下属的Redis实例,在需要连接Redis的地方改为连接Codis,之后Codis会以一个代理的身份接受请求,并使用一致性hash算法,将请求转接到具体Redis,最后再将结果返回到Codis。作为基于代理的分片,功能与Twemproxy类似。

Codis主要包含四大组件Codis Proxy(codis proxy)、Codis Manager(codisconfig)、Codis Redis(codis-server)和ZooKeeper,每一个组件都可以进行动态扩容。

Codis Proxy:客户端连接到Redis代理服务,本身已实现了Redis协议,Redis客户端连接到Codis Proxy可以进行各种操作。Codis Proxy是无状态的,一个业务可以通过Keepalived等负载均衡软件部署多个Codis Proxy;

Codisconfig:Codisconfig是Codis的管理工具,支持添加/删除Redis节点、添加/删除Proxy节点、发起数据迁移等操作。另外Codisconfig自带http server,里面集成一个管理界面,运维人员可以在浏览器上观察Codis集群的运行状态并进行相关操作;

Codis Redis:Codis Redis基于 redis-2.8.21 分支开发,是Codis项目维护的一个Redis分支,其中加入了slot支持和原子数据迁移指令;

ZooKeeper:Codis通过ZooKeeper来存放数据路由表和Codis Proxy节点的原信息,Codisconfig发起的命令都会通过ZooKeeper同步到各存活的Codis Proxy节点。

路由查询

路由查询是指将任务请求发送到任意节点,接收到请求的节点会将查询请求发送到正确的节点上执行任务。在Redis集群方案中使用的路由查询方案有Redis cluster。

Redis内存又不够用了?教你几种集群方案轻松甩掉存储难题

 

Redis Cluster由Redis官方推出,是一种服务器Sharding技术,3.0版本开始正式提供,可线性扩展到1000个节点。在Redis Cluster中,Sharding将所有Key映射到slot中,slot个数一共16384个。Redis集群中,每个节点都会负责16384个slot中的一部分。当动态添加或减少节点时,需要将16384个slot重做分配,slot中对应的Key也要做迁移。这项工作目前是需要人工介入手动操作的。在使用Redis Cluster时,要确保16384个slot对应节点都能正常工作,如果有一个节点发生故障,整个集群都会无法工作。

为了增加集群的可访问性,Redis官方推荐将节点配置成主从结构(一个master主节点挂多个salve从节点)如果主节点失效,Redis Cluster会根据选举算法从slave节点中选择一个上升为主节点,整个集群继续对外提供服务。

使用Redis cluster时,由于官方并未提供图形管理工具,所以运维比较复杂。而且集群管理与数据存储上存在耦合,一旦集群管理出现问题,整个Redis都需要升级整合。Redis Cluster自2015年发布以来,成功使用的企业还并不是很多。



Tags:Redis 内存   点击:()  评论:()
声明:本站部分内容及图片来自互联网,转载是出于传递更多信息之目的,内容观点仅代表作者本人,如有任何标注错误或版权侵犯请与我们联系(Email:2595517585@qq.com),我们将及时更正、删除,谢谢。
▌相关推荐
这一节我们先简单聊一下redis配置与版本注意事项,涉及到配置,键的过期、32位redis和64位的区别,后续我们再来了解Redis LRU键的驱逐策略以及具体的优化策略。1、配置redis如果...【详细内容】
2020-06-10  Tags: Redis 内存  点击:(79)  评论:(0)  加入收藏
概述今天主要介绍一个Redis内存分析工具--RDR,主要是平时用来分析redis的rdbfile,下面一起来看看吧~github:https://github.com/xueqiu/rdr一、RDR 简介RDR 是解析 redis rdbf...【详细内容】
2020-05-11  Tags: Redis 内存  点击:(366)  评论:(0)  加入收藏
小的聚合类型数据的特殊编码处理Redis2.2版本及以后,存储集合数据的时候会采用内存压缩技术,以使用更少的内存存储更多的数据。如Hashes,Lists,Sets和Sorted Sets,当这些集合...【详细内容】
2020-01-13  Tags: Redis 内存  点击:(93)  评论:(0)  加入收藏
Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多。所以,监控 Redis 的内存消耗并了解 Redis 内存模型对高效并长期稳定使用...【详细内容】
2019-10-16  Tags: Redis 内存  点击:(115)  评论:(0)  加入收藏
今天解决一个redis内存使用量大的问题。和大家分享一下。有一个历史遗留系统A,因为一些业务原因,申请了很大的redis内存。从40G一路加到了80G。但是仍然经常告警,达到了max_mem...【详细内容】
2019-07-29  Tags: Redis 内存  点击:(288)  评论:(0)  加入收藏
Redis,一款技术研发者们耳熟能详的内存数据库。作为数据库,存储数据的容量都是有限的,不能超过主机内存的大小。通常而言,一台主机服务器的内存只有十几G,较大可达100G或200G。...【详细内容】
2019-07-25  Tags: Redis 内存  点击:(367)  评论:(0)  加入收藏
▌简易百科推荐
来源: my.oschina.net/xiaomu0082/blog/2990388首先说下问题现象:内网sandbox环境API持续1周出现应用卡死,所有api无响应现象刚开始当测试抱怨环境响应慢的时候 ,我们重启一下应...【详细内容】
2021-12-08  Java识堂    Tags:Redis   点击:(18)  评论:(0)  加入收藏
我不知道为什么你会选择对特定数量的“错误”(或警告)如此具体。听起来您正在寻找将要发布到 Yahoo! 的某些文章的内容。 Insider (N Foos to Blah for the BlahBlah)。那说:...【详细内容】
2021-12-07  富集云科技有限公司    Tags:Redis   点击:(14)  评论:(0)  加入收藏
目录 一、背景 二、步骤 0.理论支持 1、获取数据 2、结果 3、分析数据并评估大小 三、关于repl-backlog-size 一、背景 repl-backlog-size控制这个环形缓冲区. ​ 主从断...【详细内容】
2021-11-05  弈秋的美好生活    Tags:redis   点击:(41)  评论:(0)  加入收藏
Redis 性能测试是通过同时执行多个命令实现的。1,Redis-benchmarkRedis性能命令:redis性能命令格式: redis-benchmark [option] [option value] redis 性能测试工具可选参数如...【详细内容】
2021-11-02  川石信息    Tags:Redis   点击:(41)  评论:(0)  加入收藏
1 概述数据结构和内部编码 无传统关系型数据库的 Table 模型schema 所对应的db仅以编号区分。同一 db 内,key 作为顶层模型,它的值是扁平化的。即 db 就是key的命名空间。 key...【详细内容】
2021-11-01  JavaEdge    Tags:Redis   点击:(28)  评论:(0)  加入收藏
普通java中使用引用Java redis 驱动,即可连接:import redis.clients.jedis.Jedis; public class RedisTestJava { public static void main(String[] args) { //连...【详细内容】
2021-10-13  faesuite    Tags:Redis   点击:(34)  评论:(0)  加入收藏
Redis常用的数据结构有 string list set zset hashstringstring 是 Redis 的基本的数据类型,一个 key 对应一个 value。string 类型是二进制安全的,Redis的string可以包含任...【详细内容】
2021-10-12  语霖    Tags:Redis   点击:(36)  评论:(0)  加入收藏
列表类型可以存储一组按插入顺序排序的字符串,它非常灵活,支持在两端插入、弹出数据,可以充当栈和队列的角色。> LPUSH fruit apple(integer) 1> RPUSH fruit banana(integer)...【详细内容】
2021-09-17  深夜敲代码    Tags:Redis   点击:(54)  评论:(0)  加入收藏
Redis持久化意义 是做灾难恢复,数据恢复,也可以归类到高可用的一个环节里面去,比如你的redis整个挂了,然后redis就不可用了,你要做的事情是让redis变得可用,尽快变得可用 大量的请...【详细内容】
2021-08-12  小李说IT    Tags:Redis   点击:(77)  评论:(0)  加入收藏
当查询Redis中没有的数据时,该查询会下沉到数据库层,同时数据库层也没有该数据,当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据...【详细内容】
2021-07-30  随便t    Tags:缓存穿透   点击:(91)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条