RabbitMQ集群搭建
介绍
RabbitMQ 是一个开源的消息代理软件,实现了高级消息队列协议(AMQP,Advanced Message Queuing Protocol)。它充当了消息的中间件,用于在分布式系统中传递消息,提供了可靠的、异步的、跨应用程序的消息传递机制。
RabbitMQ 的主要特点和用途:
-
消息队列: RabbitMQ 作为消息队列(Message Queue)的一种实现,允许应用程序之间通过消息进行通信。消息队列可以解耦发送者和接收者,使得它们可以独立地演进和扩展。
-
解耦应用组件: 通过在系统的不同部分之间引入消息队列,可以实现应用组件的解耦。这意味着系统的不同部分可以独立开发、部署和扩展,而不必知道其他部分的实现细节。
-
异步通信: RabbitMQ 支持异步消息传递,允许发送者发送消息后立即继续执行,而不必等待接收者的响应。这有助于提高系统的并发性和响应性。
-
可靠性: RabbitMQ 提供了消息持久性选项,确保即使在代理重启后,也不会丢失已经发送的消息。这对于关键的业务消息和任务很重要。
-
灵活的消息路由: RabbitMQ 提供了灵活的消息路由和交换机(Exchange)的机制。通过不同类型的交换机和路由规则,可以实现多样化的消息路由策略。
-
工作队列: RabbitMQ 可以用作工作队列,允许任务的异步执行。生产者将任务放入队列,而工作者则从队列中取出任务并处理。这对于分布式任务处理和负载均衡非常有用。
-
发布/订阅模式: RabbitMQ 支持发布/订阅模式,允许多个消费者订阅同一队列,并接收相同的消息。这在实现广播和通知系统时很有用。
-
可扩展性: RabbitMQ 支持水平扩展,可以通过添加更多的节点来提高消息代理的处理能力。这有助于应对不断增长的负载。
-
社区支持和丰富文档: RabbitMQ 是一个开源项目,拥有庞大的社区支持和丰富的文档资源,使得使用和集成 RabbitMQ 相对容易。
集群模式
RabbitMQ 支持不同类型的集群模式,以确保高可用性和水平扩展。以下是 RabbitMQ 中常见的集群模式:
-
镜像队列集群(Queue Mirroring Cluster): 这是 RabbitMQ 中最常见的集群模式。在这种模式下,队列的所有消息都会在集群中的多个节点上进行复制(镜像)。每个队列的复制体称为队列的镜像。如果一个节点失效,仍然可以从其他节点获取相同队列的消息。这提高了队列的可用性和可靠性。
-
所有者模式(Quorum Queues Cluster): 在 RabbitMQ 3.8 版本及更高版本中引入了 Quorum Queues,这是一种基于 Raft 协议的新队列类型。Quorum Queues 提供更强的数据一致性和容错性,它们的数据存储在多个节点上。Quorum Queues 的集群模式称为所有者模式。在这种模式下,队列的所有者(leader)负责处理消息的写入和复制,而其他节点则充当跟随者(followers),复制队列的数据。
-
基于发布/订阅的集群模式(Publisher-Subscriber Cluster): RabbitMQ 也支持发布/订阅模式的集群,其中交换机和队列的绑定关系会在所有集群节点之间共享。这样,无论消息生产者连接到哪个节点,消息都能够正确地发布到相应的队列。这种模式可以用于构建分布式的发布/订阅系统。
专业术语
ConnectionFactory(连接管理器):应用程序与Rabbit之间建立tcp连接的管理器,程序代码中使用;
Channel(信道):消息推送使用的通道;
Exchange(交换器):用于接受、分配消息;
Queue(队列):用于存储生产者的消息;类似存放商品的仓库和商店。是生产商品的工厂和购买商品的用户之间的中转站。
Broker:简单来说就是消息队列服务器实体
vhost:虚拟主机,一个broker里可以开设多个vhost,用作不同用户的权限分离.
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
user:用户
Binding: exchange 与 queue 之间的虚拟链接,binding 中可以包含 routing key。binding 信息被保存到 exchange 的查询表中,用于消息的分发。
VB.Net
Copy
节点类型
磁盘节点(Disk Node): 磁盘节点是 RabbitMQ 集群中的普通节点,它负责存储消息和元数据,以确保消息的持久性。磁盘节点会将消息写入磁盘,以便在节点重启后仍然可以访问。大多数节点都是磁盘节点,尤其是那些处理关键业务消息的节点。
内存节点(Memory Node): 内存节点是一种轻量级的节点类型,它主要用于缓存消息,而不将它们写入磁盘。内存节点对于处理大量短暂消息的情况非常有用,因为它们能够更快地处理消息。然而,内存节点不能保证消息的持久性,因此在节点重启后可能会丢失消息。
镜像节点(Mirrored Node): 镜像节点是 RabbitMQ 集群中的节点,它主要用于存储队列的镜像副本。镜像节点在集群中的其他节点上维护队列的镜像,以提供消息的冗余存储。这有助于提高队列的可用性和可靠性。
所有者节点(Quorum Queues Owner Node): 在 RabbitMQ 3.8 版本及更高版本中引入的 Quorum Queues 中,引入了所有者节点的概念。所有者节点负责处理队列的写入和复制,而其他节点充当跟随者(followers),负责复制队列的数据。这种节点类型用于 Quorum Queues 集群模式。
搭建集群
192.168.50.138 rabbitmq-1
192.168.50.139 rabbitmq-2
192.168.50.140 rabbitmq-3
下载
wget https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.10/rabbitmq-server-3.7.10-1.el7.noarch.rpm
下载erlang
wget https://cloud.7boe.top/d/HKOSS/%E8%BD%AF%E4%BB%B6%E5%8C%85/RabbitMQ/erlang-21.3.8.21-1.el7.x86_64.rpm
开启web管理页面
rabbitmq-plugins enable rabbitmq_management
创建用户并且授权
rabbitmqctl add_user wang passwd
rabbitmqctl set_user_tags wang administrator
列出用户
rabbitmqctl list_users
给权限
rabbitmqctl set_permissions -p "/" wang ".*" ".*" ".*"
拷贝
cp /usr/share/doc/rabbitmq-server-3.7.5/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
修改配置文件
61 {lookback_users,[]}
重启
systemctl restart rabbitmq-server
常用端口
4369 -- erlang端口
5672 --程序连接端口
15672 -- 管理界面ui端口
25672 -- server间内部通信口
创建数据目录
mkdir -p /data/rabbitmq/data
mkdir -p /data/rabbitmq/logs
chmod 777 -R /data/rabbitmq
chmod 777 -R /data/rabbitmq/logs
chown rabbitmq.rabbitmq /data/ -R
新写一个env变量配置文件
vim /etc/rabbitmq/rabbitmq-env.conf
RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
RABBITMQ_LOG_BASE=/data/rabbitmq/logs
其他两台机器要拷贝cookie
scp root@10.31.162.200:/var/lib/rabbitmq/.erlang.cookie /var/lib/rabbitmq/
加入集群的机器要关闭 被加入的master要开启
rabbitmqctl stop_app
chmod 400 .erlang.cookie
chown rabbitmq.rabbitmq .erlang.cookie
rabbitmqctl start_app
以内存加入,然后开启
rabbitmqctl join_cluster --ram rabbit@rabbitmq-1
rabbitmqctl start_app
加入方式
(1)默认rabbitmq启动后是磁盘节点,在这个cluster命令下,mq-2和mq-3是内存节点,
mq-1是磁盘节点。
(2)如果要使mq-2、mq-3都是磁盘节点,去掉--ram参数即可。
(3)如果想要更改节点类型,可以使⽤命令rabbitmqctl change_cluster_node_type
disc(ram),前提是必须停掉rabbit应⽤
集群状态
rabbitmqctl cluster_status
页面查看
http://192.168.50.138:15672
镜像集群
一条命令即可
rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}'
设置策略
rabbitmqctl set_policy [-p Vhost] Name Pattern Definition
-p Vhost: 可选参数,针对指定vhost下的queue进行设置
Name: policy的名称,可以定义
Pattern: queue的匹配模式(正则表达式),也就是说会匹配一组。
Definition:镜像定义,包括ha-mode,ha-params,ha-sync-mode
ha-mode:指明镜像队列的模式
all:表示在集群中所有的节点上进行镜像
exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
ha-sync-mode:进行队列中消息的同步方式,有效值为automatic和manual
ha-params:ha-mode模式需要用到的参数
更多推荐
所有评论(0)