• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    公众号

使用Docker搭建Redis主从复制的集群

原作者: [db:作者] 来自: [db:来源] 收藏 邀请

在主从复制模式的集群里,主节点一般是一个,从节点一般是两个或多个,写入主节点的数据会被复制到从节点上,这样一旦主节点出现故障,应用系统能切换到从节点去读写数据,这样能提升系统的可用性。而且如果再采用主从复制模式里默认的读写分离的机制,更能提升系统的缓存读写性能。所以对性能和实时性不高的系统而言,主从复制模式足以满足一般的性能和安全性方面的需求。

1 概述主从复制模式

在实际应用中,如果有相应的设置,在向一台Redis服务器里写数据后,这个数据可以复制到另外一台(或多台)Redis服务器,这里数据源服务器叫主服务器(Master Server),而复制数据目的地所在的服务器叫从服务器(Slave Server)。

这种主从复制模式能带来两个好处,第一,可以把写操作集中在主服务器上,把读操作集中到从服务器上,这样能提升读写性能;第二,由于出现了数据备份,所以能提升数据安全性,比如当主Redis服务器失效后,能很快切换到从服务器上读数据。

如果在项目,并发要求不高,或者说哪怕从Redis缓存里读不到数据对性能也不会有太大的损害,那么可以用一主一从的复制模式,效果图如下图所示。

也可以设置一主多从的复制效果,在下图里,给出对应的效果图,即写到主节点的数据会同步到两个从节点上,其它一主多从的模式和这很相似。

关于主从复制模式,请大家注意如下的要点。

第一, 一个主服务器可以带一个或多个从服务器,甚至从服务器也可以再带从服务器,但在复制数据时,只能把主服务器的数据复制到从服务器上,反之不能。

第二, 一台从服务器只能跟随一台主服务器,而不能出现一从多主的模式。

第三, 在 Redis 2.8以后的版本里,是采用异步的复制模式,即进行主从复制时,不会影响主服务器上的读写数据操作。

2 用命令搭建主从集群

这里将用Docker容器来搭建一主二从模式的集群,在配置主从关系时,需要在从节点上使用slaveof命令,具体的步骤如下。

第一步,打开一个命令窗口,在其中运行如下命令创建一个名为redis-master的Redis容器,请注意它的端口是6379。

docker run -itd --name redis-master -p 6379:6379 redis:latest

第二步,再新开一个命令窗口,在其中运行如下命令创建一个名为redis-slave1的容器,请注意它的端口是6380。请注意这里是在一台电脑上运行,所以用端口号来区别一台主Redis容器和另外两台从Redis容器。如果在真实项目里,多台Redis会部署在不同的服务器上,所以可以都用6379端口。

docker run -itd --name redis-slave1 -p 6380:6380 redis:latest

第三步,回到包含redis-master容器的命令窗口,在其中运行docker inspect redis-master命令,查看redis-master容器的信息,在其中能通过IPAddress项看到改容器的IP地址,这里是172.17.0.2。如果在真实项目里,Redis服务器所在的IP地址是固定的,而通过Docker容器启动的Redis服务器的IP地址是动态的,所以这里要用上述命令来获取IP地址。

第四步,在redis-master容器的命令窗口里,运行docker exec -it redis-master /bin/bash命令,进入到命令行窗口,在其中用redis-cli命令进入到Redis客户端命令行后,再通过info replication命令查看当前的主从模式的状态,能看到如下所示的部分结果。

 c:\work>docker exec -it redis-master /bin/bash
 root@9433cd584d80:/data# redis-cli
 127.0.0.1:6379> info replication
 # Replication
 role:master
 connected_slaves:0

从第5行的输出里能看到,当前reids-master容器在主从模式里的角色是“主服务器”,从第6行的输出里能看到,当前该主服务器没有携带从服务器。

同样再到redis-slave1容器的命令窗口里,通过docker exec -it redis-slave1 /bin/bash命令进入容器的命令行窗口,也通过redis-cli命令进入客户端命令行,也再通过info replication命令查看该Redis服务器的主从模式的状态,部分结果如下所示。

 c:\work>docker exec -it redis-slave1 /bin/bash
 root@2e3237c60211:/data# redis-cli
 127.0.0.1:6379> info replication
 # Replication
 role:master
 connected_slaves:0

由于此时还没有通过命令行设置主从模式,所以从第5行和第6行的输出结果里,依然看到当前服务器是“主服务器”,同时没有携带从服务器。

第五步,在redis-slave1容器的命令窗口里,运行如下的slaveof命令,指定当前Redis服务器为从服务器。该命令的格式是slaveof IP地址 端口号,这里是指向172.17.0.2:6379所在的主服务器。

slaveof 172.17.0.2 6379

运行完该命令后,还是在redis-slave1客户端里,再次运行info replication,会看到如下所示的部分结果。从第3行的结果里能看到,该redis-slave1服务器已经成为从服务器,并能从第4行和第5行的输出里能确认,该从服务器是从属于172.17.0.2:6379所在的Redis主服务器。

127.0.0.1:6379> info replication
 # Replication
 role:slave
 master_host:172.17.0.2
 master_port:6379

此时再回到redis-master容器的命令窗口里,在Redis客户端里再次运行info replication命令查看主从状态,能看到如下所示的部分结果。从第4行的输出里能看到,该Redis主服务器已经携带了一个从服务器。

 127.0.0.1:6379> info replication
 # Replication
 role:master
 connected_slaves:1

第六步,再打开一个新的命令窗口,在其中运行如下命令,开启一个新的名为redis-slave2的Redis容器,请注意它的端口是6381。

docker run -itd --name redis-slave2 -p 6381:6381 redis:latest

随后再运行docker exec -it redis-slave2 /bin/bash命令进入该容器的命令行窗口,再通过redis-cli命令进入客户端,运行slaveof 172.17.0.2 6379命令,把这个Redis服务器也设为从服务器,并连到redis-master这个容器所在的主Redis服务器上。

连接完成后,再回到redis-master容器所在的命令行窗口,再运行info replication命令,此时能看到如下的部分输出,从第4行的输出里能看到,当前该主服务器连接着两台从服务器。

127.0.0.1:6379> info replication
 # Replication
 role:master
 connected_slaves:2

至此配置完成一主两从模式的主从模式,此时如果到两台从服务器里运行get name命令,返回是空,如果到redis-master容器所在的命令行窗口,在其中运行set name Peter后,再到两台从服务器里运行get name命令,就能看到返回值。这说明主从模式配置成功,主服务器里的数据会自动同步到各从服务器上。

3 通过配置搭建主从集群

在项目里可以用slaveof命令搭建主从模式的集群外,还可以用配置参数的方式来搭建,具体的步骤如下。

第一步,搭建主服务器redis-master的命令不变,依然用如下的命令,这里还是用6379端口。

docker run -itd --name redis-master -p 6379:6379 redis:latest

用docker inspect redis-master命令确认该Redis服务器所在容器的IP地址依然是172.17.0.2。

第二步,到C:\work\redis\redisConf目录里,创建配置文件redisSlave1.conf,并在其中编写如下内容。

port 6380

slaveof 172.17.0.2 6379

通过第1行的命令,设置该Redis的端口为6380,通过第2行的slaveof配置,把该Redis服务器设置成“从模式”,并连接到redis-master所在的主服务器上。

第三步,在新的命令窗口里运行如下的命令,创建名为redids-slave1的Redis服务器。该服务器的工作端口是6380,并且用redis-server后的参数指定在启动Redis服务器时加载redisSlave1.conf配置文件,

docker run -itd --name redis-slave1 -v C:\work\redis\redisConf:/redisConfig:rw -p 6380:6380 redis:latest redis-server /redisConfig/redisSlave1.conf

随后再通过docker exec -it redis-slave1 /bin/bash命令进入到该容器的命令行,由于这里Redis工作端口已经变成6380,所以需要通过redis-cli -h 127.0.0.1 -p 6380命令来进入Redis客户端,如果在其中运行info replication命令,能看到如下的部分结果,由此能进一步确认redis-slave1服务器已经从属于redis-master服务器。

 root@80e7ae14a322:/data# redis-cli -h 127.0.0.1 -p 6380
 127.0.0.1:6380> info replication
 # Replication
 role:slave
 master_host:172.17.0.2
 master_port:6379

第四步,到C:\work\redis\redisConf目录里,创建配置文件redisSlave2.conf,并在其中编写如下内容。

port 6381

slaveof 172.17.0.2 6379

这里用到了6381端口,同样也通过slaveof命令连接到redis-master服务器上。随后在新的命令窗口里运行如下的命令,创建名为redids-slave2的Redis服务器。该服务器的工作端口是6381,并且用redis-server后的参数指定在启动Redis服务器时加载redisSlave2.conf配置文件,

docker run -itd --name redis-slave2 -v C:\work\redis\redisConf:/redisConfig:rw -p 6381:6381 redis:latest redis-server /redisConfig/redisSlave2.conf

随后再通过docker exec -it redis-slave2 /bin/bash命令进入到该容器的命令行,由于这里Redis工作端口已经变成6381,所以需要通过redis-cli -h 127.0.0.1 -p 6381命令来进入Redis客户端,这里可以再通过info replication命令确认配置效果,部分运行结果如下所示。

root@6017108b97c4:/data# redis-cli -h 127.0.0.1 -p 6381
 127.0.0.1:6381> info replication
 # Replication
 role:slave
 master_host:172.17.0.2
 master_port:6379

至此完成了以配置文件设置主从复制集群的设置,此时如果到主服务器redis-master所在的客户端里运行set age 18命令,再到redis-slave1和redis-slave2这两台从服务器里运行get age命令,能看到age的值,由此能再次确认主从服务器之间能同步数据。

4 配置读写分离效果

如果在上文里配置的redis-slave1和redis-slave2这两台从服务器里,运行info replication命令,还能看到“slave_read_only:1”这项配置,说明从服务器默认是“只读”的,如果到redis-slave1的Redis客户端命令行里输入set val 1,会看到如下第2行所示的错误,从而能进一步验证该Redis服务器的“只读”属性。

127.0.0.1:6380> set val 1

(error) READONLY You can't write against a read only replica.

对于Redis从服务器而言,建议采用默认的“只读”配置,因为在项目里,一般不会向作为数据同步目的地的“从服务器”上写数据。如果业务上确实需要,可以通过如下的步骤设置“可读可写”的效果。

第一步,在上文提到的redisSlave2.conf配置文件里再加入一行“slave-read-only no”的配置,指定该服务器可读可写。

第二步,如果上文提到的redis-slave2容器还处于活动状态,则需要先用docker stop redis-slave2停止该容器,随后再用docker rm redis-slave2命令删除该容器,之后可以再用如下的命令再次创建redis-slave2容器。

docker run -itd --name redis-slave2 -v C:\work\redis\redisConf:/redisConfig:rw -p 6381:6381 redis:latest redis-server /redisConfig/redisSlave2.conf

在redis-server命令后所带的redisSlave2.conf配置文件里,已经用“slave-read-only no”配置项设置了“可读可写”的模式。

第三步,再通过docker exec -it redis-slave2 /bin/bash命令进入到该容器的命令行,再通过redis-cli -h 127.0.0.1 -p 6381命令进入Redis客户端, 此时如果再运行set val 1命令,就能成功写入数据。

5 用心跳机制提升主从复制可靠性

在Redis主从复制模式里,如果主从服务器之间有数据同步的情况,那么从服务器会默认以一秒一次的频率,向主服务器发送REPLCONF ACK命令,依次来确保两者间连接通畅。这种定时交互命令确保连接的机制就叫“心跳”机制。在上文开启的redis-master这个主服务器的命令行里,如果运行info replication命令,能看到它从属服务器的“心跳”状况。

 127.0.0.1:6379> info replication
 2 # Replication
 3 role:master
 4 connected_slaves:2
 5 slave0:ip=172.17.0.3,port=6380,state=online,offset=16185,lag=1
 6 slave1:ip=172.17.0.4,port=6381,state=online,offset=16185,lag=1

其中在第5行和第6行里,能通过lag表示该从属服务器发送REPLCONF ACK命令的时间,这里均是1秒,这表示两台从服务器和主服务器的连接均属通畅。

这里大家可以想象下,如果从服务器宕机,那么主从复制就没有意义了。对此,可以通过如下的步骤来关联心跳机制和主动复制的动作。

第一步,在C:\work\redis\redisConf目录里新建redisMaster.conf文件,在其中编写如下的代码。

min-slaves-to-write 2

min-slaves-max-lag 15

第1行的参数表示实现主从复制的从服务器个数最少是2台,第2行的参数表示,如果有第1行参数指定的从服务器个数(这里是2台)的心跳延迟时间(即lag值)大于15秒,不执行主从复制。

这两个条件是“或者”的关系,即只要出现从服务器个数小于2,或者2台从服务器的心跳延迟时间大于15秒,主服务器即停止主从复制的操作。

第二步,通过如下的命令启动redis-master容器,由于此时启动Redis服务器时已经加载了上述配置,所以该Redis主服务器在执行主从复制时,会检测第一步所设置的条件。从而能提升主从复制的可靠性。

docker run -itd --name redis-master -v C:\work\redis\redisConf:/redisConfig:rw -p 6379:6379 redis:latest redis-server /redisConfig/redisMaster.conf

6 用偏移量检查数据是否一致

在上文开启的redis-master主服务器的命令行里,如果运行info replication命令,还能看到表示复制数据偏移量的master_repl_offset数据,效果如下第6行所示。这里数据是276,表示主服务器向从服务器发送数据的字节数。

127.0.0.1:6379> info replication
 # Replication
 role:master
 connected_slaves:1
 …
 master_repl_offset:276

同样如果到redis-slave1从服务器的命令行里,也能通过info replication查看该偏移量,效果如下第7行所示。

127.0.0.1:6380> info replication
 # Replication
 role:slave
 master_host:172.17.0.2
 master_port:6379
 …
 slave_repl_offset:276

在从服务器里,该数据表示从主服务器中接收到的数据字节数,如果主从服务器中两者数据一致,这说明主从服务器间的数据是同步的。

当在主服务器redis-master里运行set nextVal 1命令后,再用info replication查看master_repl_offset数值,会发现有变化,而此时再到redis-slave1从服务器运行info replication命令,会发现从服务器的master_repl_offset数值依然和主服务器一致,这说明用set nextVal 1命令在主服务器里增加的数据已经成功同步到从服务器。也就是说,如果出现Redis问题,可以通过master_repl_offset数值来检查同步数据是否正确,由此再进一步排查问题。

总结

到此这篇关于使用Docker搭建Redis主从复制的集群的文章就介绍到这了,更多相关Docker搭建Redis主从复制的集群内容请搜索极客世界以前的文章或继续浏览下面的相关文章希望大家以后多多支持极客世界!


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
上一篇:
docker启动elasticsearch时内存不足问题及解决方法发布时间:2022-02-12
下一篇:
Docker容器监控及日志管理实现过程解析发布时间:2022-02-12
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap