redis集群的搭建（分布式缓存Redis集群搭建）

作者：Esofar

cnblogs.com/esofar/p/10486621.html

Redis 集群简介

Redis Cluster 即 Redis 集群，是 Redis 官方在 3.0 版本推出的一套分布式存储方案。完全去中心化，由多个节点组成，所有节点彼此互联。Redis 客户端可以直接连接任何一节点获取集群中的键值对，不需要中间代理，如果该节点不存在用户所指定的键值，其内部会自动把客户端重定向到键值所在的节点。

Redis 集群是一个网状结构，每个节点都通过 TCP 连接跟其他每个节点连接。在一个有 N 个节点的集群中，每个节点都有 N-1 个流出的 TCP 连接，和 N-1 个流入的连接，这些 TCP 连接会永久保持。

Redis Cluster 同其他分布式存储系统一样，主要具备以下两个功能：

数据分区

Redis 集群会将用户数据分散保存至各个节点中，突破单机 Redis 内存最大存储容量。集群引入了 哈希槽slot的概念，其搭建完成后会生 16384 个哈希槽slot，同时会根据节点的数量大致均等的将 16384 个哈希槽映射到不同的节点上。当用户存储key-value时，集群会先对key进行 CRC16 校验然后对 16384 取模来决定key-value放置哪个槽，从而实现自动分割数据到不同的节点上。

数据冗余

Redis 集群支持主从复制和故障恢复。集群使用了主从复制模型，每个主节点master应至少有一个从节点slave。假设某个主节点故障，其所有子节点会广播一个数据包给集群里的其他主节点来请求选票，一旦某个从节点收到了大多数主节点的回应，那么它就赢得了选举，被推选为主节点，负责处理之前旧的主节点负责的哈希槽。

关于 Redis Cluster 详细介绍以及实现原理请参见 Redis Cluster 教程 和 Redis Cluster 规范，在此不再赘述。https://redis.io/topics/cluster-tutorialhttps://redis.io/topics/cluster-spec

下载 & 安装 Redis

实验环境信息

Linux 版本：CentOS Linux release 7.4.1708Redis 版本：5.0.3

先在服务器或虚拟机中安装一个单机 Redis，如果已安装可以跳过本节，未安装过的正好学习下。

进入 Redis 待安装目录。

cd/usr/local

下载、解压 Redis 源代码压缩包。

wgethttp://download.redis.io/releases/redis-5.0.3.tar.gz tar-zxvfredis-5.0.3.tar.gz

然后进入解压后的目录并使用 make 命令执行编译安装 Redis。

cdredis-5.0.3 make&&makeinstall

不要高兴，因为你极有可能会遇到因为 GCC 编译器未安装导致编译失败的情况。不要着急，请顺序执行如下命令。

yum-yinstallgcc makedistclean make&&makeinstall

Redis 基于 C 语言开发，故编译源码需要 GCC（Linux下的一个编译器，这里需要用来编译.c文件）的支持。如机器上未安装需要先执行命令yum -y install gcc安装 GCC 编译工具，然后make distclean清除之前生成的文件，最后make && make install重新编译安装。

最终出现类似下文输出则表示 Redis 安装成功。

...... Hint:It'sagoodideatorun'maketest';) INSTALLinstall INSTALLinstall INSTALLinstall INSTALLinstall INSTALLinstall make[1]:离开目录“/usr/local/redis-5.0.3/src”

如果源码编译无误且执行结果正确，make install命令会将程序安装至系统预设的可执行文件存放路径，一般是/usr/local/bin目录，可以通过如下终端输出确认。当然，也可以使用make install PREFIX=<path>命令安装到指定路径。

[root@localhostbin]#cd/usr/local/bin [root@localhostbin]#ls-l 总用量32672 -rwxr-xr-x.1rootroot43673283月606:11redis-benchmark -rwxr-xr-x.1rootroot80920243月606:11redis-check-aof -rwxr-xr-x.1rootroot80920243月606:11redis-check-rdb -rwxr-xr-x.1rootroot48026963月606:11redis-cli lrwxrwxrwx.1rootroot123月606:11redis-sentinel->redis-server -rwxr-xr-x.1rootroot80920243月606:11redis-server

至此，单机 Redis 安装完成。关于Redis的面试题：常见的Redis面试题

搭建 Redis 集群

进入正题。

依据 Redis Cluster 内部故障转移实现原理，Redis 集群至少需要 3 个主节点，而每个主节点至少有 1 从节点，因此搭建一个集群至少包含 6 个节点，三主三从，并且分别部署在不同机器上。

条件有限，测试环境下我们只能在一台机器上创建一个伪集群，通过不同的 TCP 端口启动多个 Redis 实例，组成集群。

目前 Redis Cluster 的搭建有两种方式：

• 手动方式搭建，即手动执行 cluster 命令，一步步完成搭建流程。
• 自动方式搭建，即使用官方提供的集群管理工具快速搭建。

两种方式原理一样，自动搭建方式只是将手动搭建方式中需要执行的 Redis 命令封装到了可执行程序。生产环境下推荐使用第二种方式，简单快捷，不易出错。不过本文实战演示两种方式都会提及。

手动方式搭建

启动节点

搭建集群的第一步就是要先把参与搭建集群的每个节点启动起来。

由于我们这是在一台机器上模拟多个节点，可以预先规划下各个节点的属性：

根据上述规划，可以先通过如下命令创建各个节点启动配置文件的存放目录。

mkdir/usr/local/redis-cluster cdredis-cluster mkdir-p700170027003800180028003

顺序执行如下行命令，进入 Redis 源码包目录并将默认配置文件redis.conf分别复制到六个节点配置存放目录中，作为各自节点启动配置文件

cd/usr/local/redis-5.0.3 cpredis.conf/usr/local/redis-cluster/7001 cpredis.conf/usr/local/redis-cluster/7002 cpredis.conf/usr/local/redis-cluster/7003 cpredis.conf/usr/local/redis-cluster/8001 cpredis.conf/usr/local/redis-cluster/8002 cpredis.conf/usr/local/redis-cluster/8003

接下来需要分别修改每个节点的配置文件。下面贴的是节点 A 的配置文件/usr/local/redis-cluster/7001/redis.conf中启用或修改的一些必要参数。其他节点 B、C、D、E、F 参照修改，注意把涉及端口的地方修改成各自节点预先规划的即可。

bind192.168.83.128#设置当前节点主机地址 port7001#设置客户端连接监听端口 pidfile/var/run/redis_7001.pid#设置Redis实例pid文件 daemonizeyes#以守护进程运行Redis实例 cluster-enabledyes#启用集群模式 cluster-node-timeout15000#设置当前节点连接超时毫秒数 cluster-config-filenodes-7001.conf#设置当前节点集群配置文件路径

完成上述工作就可以通过如下几组命令启动待搭建集群中的 6 个节点了。

/usr/local/bin/redis-server/usr/local/redis-cluster/7001/redis.conf /usr/local/bin/redis-server/usr/local/redis-cluster/7002/redis.conf /usr/local/bin/redis-server/usr/local/redis-cluster/7003/redis.conf /usr/local/bin/redis-server/usr/local/redis-cluster/8001/redis.conf /usr/local/bin/redis-server/usr/local/redis-cluster/8002/redis.conf /usr/local/bin/redis-server/usr/local/redis-cluster/8003/redis.conf

最后通过ps -ef|grep redis命令确认各个节点服务是否已经正常运行。

[root@localhostbin]#ps-ef|grepredis root56131004:25?00:00:00/usr/local/bin/redis-server127.0.0.1:7001[cluster] root56501004:26?00:00:00/usr/local/bin/redis-server127.0.0.1:7002[cluster] root56611004:26?00:00:00/usr/local/bin/redis-server127.0.0.1:7003[cluster] root56721004:27?00:00:00/usr/local/bin/redis-server127.0.0.1:8001[cluster] root56811004:27?00:00:00/usr/local/bin/redis-server127.0.0.1:8002[cluster] root56901004:27?00:00:00/usr/local/bin/redis-server127.0.0.1:8003[cluster] root57311311004:28pts/000:00:00grep--color=autoredis

如上输出可以看出上面规划的 6 个节点都成功启动。

节点握手

虽然上面 6 个节点都启用了群集支持，但默认情况下它们是不相互信任或者说没有联系的。节点握手就是在各个节点之间创建链接（每个节点与其他节点相连），形成一个完整的网格，即集群。

节点握手的命令如下：

clustermeetipport

但为了创建群集，不需要发送形成完整网格所需的所有 cluster meet 命令。只要能发送足够的cluster meet消息，可以让每个节点都可以通过一系列已知节点到达每个其他节点，缺失的链接将被自动创建。

例如，如果我们通过cluster meet将节点 A 与节点 B 连接起来，并将 B 与 C 连接起来，则 A 和 C 会自己找到握手方式并创建链接。

我们的创建的 6 个节点可以通过 redis-cli 连接到 A 节点执行如下五组命令完成握手，生产环境需要将 IP 127.0.0.1替换成外网 IP。

clustermeet127.0.0.17002 clustermeet127.0.0.17003 clustermeet127.0.0.18001 clustermeet127.0.0.18002 clustermeet127.0.0.18003

如上述命令正常执行输出结果如下。

[root@localhostbin]#/usr/local/bin/redis-cli-p7001 127.0.0.1:7001>clustermeet127.0.0.17002 OK 127.0.0.1:7001>clustermeet127.0.0.17003 OK 127.0.0.1:7001>clustermeet127.0.0.18001 OK 127.0.0.1:7001>clustermeet127.0.0.18002 OK 127.0.0.1:7001>clustermeet127.0.0.18003 OK

接下来可以通过 cluster nodes 命令查看节点之间 的链接状态。我随机找了两个节点 B 和 F 测试，输出结果如下所示。

可以看到，节点 B 和节点 F 都已经分别和其他 5 个节点建立链接。

至此，节点握手完成。

分配槽位

此时 Redis 集群还并没有处于上线状态，可以在任意一节点上执行 cluster info 命令来查看目前集群的运行状态。

[root@localhost~]#/usr/local/bin/redis-cli-p7001clusterinfo cluster_state:fail ......

上面输出cluster_state:fail表示当前集群处于下线状态。因为只有给集群中所有主节点分配好槽位（即哈希槽slot，本文第一小节有提及）集群才能上线。

分配槽位的命令如下：

clusteraddslotsslot[slot...]

根据预先规划，这一步需要使用 cluster addslots 命令手动将 16384 个哈希槽大致均等分配给主节点 A、B、C。

/usr/local/bin/redis-cli-p7001clusteraddslots{0..5461} /usr/local/bin/redis-cli-p7002clusteraddslots{5462..10922} /usr/local/bin/redis-cli-p7003clusteraddslots{10923..16383}

上面三组命令执行完毕，可以再次查看目前集群的一些运行参数。

[root@localhost~]#/usr/local/bin/redis-cli-p7001clusterinfo cluster_state:ok cluster_slots_assigned:16384 cluster_slots_ok:16384 cluster_slots_pfail:0 cluster_slots_fail:0 cluster_known_nodes:6 cluster_size:3 cluster_current_epoch:5 cluster_my_epoch:4 cluster_stats_messages_ping_sent:11413 cluster_stats_messages_pong_sent:10509 cluster_stats_messages_meet_sent:11 cluster_stats_messages_sent:21933 cluster_stats_messages_ping_received:10509 cluster_stats_messages_pong_received:10535 cluster_stats_messages_received:21044

如上输出cluster_state:ok证明 Redis 集群成功上线。

主从复制

Redis 集群成功上线，不过还没有给主节点指定从节点，此时如果有一个节点故障，那么整个集群也就挂了，也就无法实现高可用。详细了解点这里：Redis主从复制以及主从复制原理

集群中需要使用 cluster replicate 命令手动给从节点配置主节点。

集群复制命令如下：

clusterreplicatenode-id

集群中各个节点的node-id可以用cluster nodes命令查看，如下输出1b4b3741945d7fed472a1324aaaa6acaa1843ccb即是主节点 B 的node-id。

[root@localhost/]#/usr/local/bin/redis-cli-p8002clusternodes 1b4b3741945d7fed472a1324aaaa6acaa1843ccb127.0.0.1:7002@17002master-015522207002551connected ed6fd72e61b747af3705b210c7164bc68739303e127.0.0.1:8003@18003master-015522207032810connected 19147f56e679767bcebb8653262ff7f56ca072a8127.0.0.1:7003@17003master-015522207000002connected a8a41694f22977fda78863bdfb3fc03dd1fab1bd127.0.0.1:8002@18002myself,master-015522207010005connected 61e8c4ed8d1ff2a765a4dd2c3d300d8121d26e12127.0.0.1:7001@17001master-015522207022754connected 51987c4b5530c81f2845bb9d521daf6d3dce3659127.0.0.1:8001@18001master-015522207012653connected

根据预先规划，A主D从；B主E从；C主F从。执行如下三组命令分别为从节点 D、E、F 指定其主节点，使群集可以自动完成主从复制。

/usr/local/bin/redis-cli-p8001clusterreplicate61e8c4ed8d1ff2a765a4dd2c3d300d8121d26e12 /usr/local/bin/redis-cli-p8002clusterreplicate1b4b3741945d7fed472a1324aaaa6acaa1843ccb /usr/local/bin/redis-cli-p8003clusterreplicate19147f56e679767bcebb8653262ff7f56ca072a8

命令执行成功后，我们便算以手动方式成功搭建了一个 Redis 集群。

最后，再来查看一下集群中的节点信息。

[root@localhost~]#/usr/local/bin/redis-cli-p8002clusternodes 1b4b3741945d7fed472a1324aaaa6acaa1843ccb127.0.0.1:7002@17002master-015522333283371connected5462-10922 ed6fd72e61b747af3705b210c7164bc68739303e127.0.0.1:8003@18003slave19147f56e679767bcebb8653262ff7f56ca072a8015522333270002connected 19147f56e679767bcebb8653262ff7f56ca072a8127.0.0.1:7003@17003master-015522333250002connected10923-16383 a8a41694f22977fda78863bdfb3fc03dd1fab1bd127.0.0.1:8002@18002myself,slave1b4b3741945d7fed472a1324aaaa6acaa1843ccb015522333270005connected 61e8c4ed8d1ff2a765a4dd2c3d300d8121d26e12127.0.0.1:7001@17001master-015522333273274connected0-5461 51987c4b5530c81f2845bb9d521daf6d3dce3659127.0.0.1:8001@18001slave61e8c4ed8d1ff2a765a4dd2c3d300d8121d26e12015522333263204connected

自动方式搭建

Redis 3.0 版本之后官方发布了一个集群管理工具 redis-trib.rb，集成在 Redis 源码包的src目录下。其封装了 Redis 提供的集群命令，使用简单、便捷。

不过 redis-trib.rb 是 Redis 作者使用 Ruby 语言开发的，故使用该工具之前还需要先在机器上安装 Ruby 环境。后面作者可能意识到这个问题，Redis 5.0 版本开始便把这个工具集成到 redis-cli 中，以--cluster参数提供使用，其中create命令可以用来创建集群。

启动节点

使用集群管理工具搭建集群之前，也是需要先把各个节点启动起来的。节点的启动方式请参见本文「手动方式创建」-「启动节点」一节，此处不再赘述。

集群管理工具搭建

如果您安装的 Redis 是 3.x 和 4.x 的版本可以使用 redis-trib.rb 搭建，不过之前需要安装 Ruby 环境。

先使用 yum 安装 Ruby 环境以及其他依赖项。

yum-yinstallrubyruby-develrubygemsrpm-build

确认安装版本。

[root@localhostredis-cluster]#ruby-v ruby2.0.0p648(2015-12-16)[x86_64-linux]

再使用 redis-trib.rb 脚本搭建集群，具体命令如下所示。

/usr/local/redis-5.0.3/src/redis-trib.rbcreate--replicas1127.0.0.1:7001127.0.0.1:7002127.0.0.1:7003127.0.0.1:8001127.0.0.1:8002127.0.0.1:8003

不过，本文实验环境使用的 Redis 版本是 5.0.3，所以我可以直接使用redis-cli --cluster create命令搭建，具体命令如下所示。

/usr/local/bin/redis-cli--clustercreate127.0.0.1:7001127.0.0.1:7002127.0.0.1:7003127.0.0.1:8001127.0.0.1:8002127.0.0.1:8003--cluster-replicas1

主节点在前，从节点在后。其中--cluster-replicas参数用来指定一个主节点带有的从节点个数，如上--cluster-replicas 1即表示 1 个主节点有 1 个从节点。

命令执行成功会有类似如下输出。

OK，搭建完成！一条命令搞定。

,