【消息中间件】详解三大MQ:RabbitMQ、RocketMQ、Kafka

2023-09-07 08:30:27

作者简介

前言

博主之前写过一个完整的MQ系列,包含RabbitMQ、RocketMQ、Kafka,从安装使用到底层机制、原理。专栏地址:

https://blog.csdn.net/joker_zjn/category_12142400.html?spm=1001.2014.3001.5482

本文是该系列的清单综述,会拉通来聊一下三大MQ的特点和各种适合的场景。

目录

1.概述

1.1.MQ简介

1.2.MQ的应用场景

1.3.关注MQ的角度

2.RabbitMQ

3.RocketMQ

4.Kafka

5.三大MQ的对比


1.概述

1.1.MQ简介

消息中间件,其实准确的叫法应该叫消息队列(message queue),简称MQ。其本质上是个队列,有FIFO的性质,即first in first out,先入先出。

目前市场上主流的MQ有三款:

  1. RabbitMQ
  2. RocketMQ
  3. Kafka

1.2.MQ的应用场景

MQ一般用在几种场景:

  1. 流量削锋
  2. 应用解耦
  3. 异步任务

1.流量削锋

流量过大的时候,用MQ作为一个中间层,暂时存储流量,让流量在队列中排队去访问服务,从而控制直接访问服务的流量,减轻服务的实时流量压力。

以网购下订单为例:

2.应用解耦

使用MQ作为应用之间的中间层,从而使得应用直接不存在直接调用的关系,解除应用之间的耦合。这样在被调用的应用挂掉以后,应用之间的调用不会直接产生异常,请求仍可以正常发送,待被调用应用重新起来以后,再去消费处理MQ中挤压的调用请求,为系统的修复争取到了时间。

以支付系统为例:

3.异步任务

有些服务调用对于响应的实时性要求不高,允许延迟响应、异步处理。使用MQ可以将这些可以异步处理的请求,暂存在队列中,调用方不必等待,直接向下执行其他任务,被调用方消费MQ中消息后自行返回给调用方响应。

1.3.关注MQ的角度

虽然市面上的MQ数量众多、种类繁杂,但MQ其本质上就是用来暂时存放消息的一种中间件,其实从三个角度去关注MQ即可抓住MQ的核心:

  1. 消息可靠性
  2. 消息模型
  3. 吞吐量

1.消息可靠性

消息可靠性,即消息会不会丢失?围绕防止消息丢失做了哪些工作?

2.消息模型

消息模型,即支持以什么样的模式去消费消息?点对点?广播?发布订阅?其消息模型丰富度如何?

3.吞吐量

MQ作为用来减轻系统压力的中间件,其自身势必会经常面对很大的流量,吞吐量如何自然是要考虑的。

本文在最后横向对比三大MQ的时候就会从以上三点出发。除了以上三点,还有一点是值得额外关注的,就是扩容是否方便,即是否在架构上能很好的支持分布式架构。当然这不是核心点,要扩容怎么都能扩,只是看方便与否。

2.RabbitMQ

RabbitMQ有几个特点:

  1. 遵从AMQP协议
  2. 丰富的消息模型极
  3. 消息可靠性高但是吞吐量不高

1.遵从AMQP

博主在之前的中间件系列中详细介绍了AMQP:

详解AMQP协议__BugMan的博客-CSDN博客

AMQP简单来说就是规定好了MQ的各个抽象组件,RabbitMQ则是一款完全严格按照AMQP来实现的开源MQ,使得很好被开源框架所集成,比如Spring AMQP专门就是用来操作AMQP架构的中间件的,因此RabbitMQ可以被Spring Boot很方便的集成。

2.丰富的消息模型

RabbitMQ也是三大MQ里提供的消息模型最丰富的一种MQ。

博主之前在博主在之前的中间件系列中详细介绍了RabbitMQ的六大消息模型:

SpringBoot RabbitMq 六大模式_springboot整合rabbitmq六种模式__BugMan的博客-CSDN博客

3.消息可靠性高但是吞吐量不高

RabbitMQRabbitMQ 提供了多种机制来确保消息的可靠性,包括持久化、消息确认、发布确认等。这些机制确保消息不会丢失,并且能够在各种情况下处理消息传递失败。但是由于存在这些用于保证消息可靠性的机制,RabbitMQ的吞吐量在三大中间件中是最低的。

博主在之前的中间件系列中详细介绍了RabbitMQ的消息防丢失:

RabbitMq消息防丢失(含springboot代码示例)_rabbitmq springboot work模式数据丢失__BugMan的博客-CSDN博客

博主在之前的中间件系列中也详细介绍了RabbitMQ如何防止重复消费,这种解法对所有MQ都是通用的,此处只是以RabbitMQ为例:

RabbitMQ重复消费_rabbitmq消息重复消费__BugMan的博客-CSDN博客

3.RocketMQ

RocketMQ是一款开源的分布式消息中间件,最初由阿里巴巴集团开发并开源。它旨在为分布式系统提供可靠、高性能、可扩展的消息通信能力。其已经是阿里内部最核心的消息中间件,用来保证每年双十一期间系统的稳定。

Rocket安装使用:

RocketMQ下载安装、集群搭建保姆级教程_rocketmq集群安装__BugMan的博客-CSDN博客

RocketMQ有以下几个特点:

  1. 天生的分布式架构
  2. 兼顾消息可靠性和高吞吐量
  3. 消息模型够用

1.天生的分布式架构

RocketMQ 的设计采用了分布式架构,可以将消息存储和处理分散到多个节点上。这样可以实现消息的并行处理,提高系统的吞吐量和并发性能。整个RocketMQ集群的架构和微服务架构类似,有一个存放节点信息的name server,生产者和消费者都去找name server拿broker的信息,再去定位到具体的某一个broker上,进行消息的收发。 broker之间可以用主从的方式进行互相备份,进行容错。

博主在之前的中间件系列中也详细介绍了RabbitMQ的架构:

RocketMQ基础概念__BugMan的博客-CSDN博客

2.兼顾消息可靠性和高吞吐量

可靠性和吞吐量其实是互斥的两点,为了保证可靠性,消息就一定要落在磁盘存储防止断电丢失。落在磁盘存储后,读这条消息的时候的磁盘IO就会拉低吞吐量。所以RocketMQ的核心其实就是数据落磁盘,然后想尽一切办法来提高吞吐量。RocketMQ主采用了顺序读写、异步刷盘、零拷贝三大机制来拉升了吞吐量。

博主在之前的中间件系列中也详细介绍了RabbitMQ的可靠性以及顺序读写、异步刷盘、零拷贝等内容:

RocketMQ概论__BugMan的博客-CSDN博客

3.消息模型够用

RocketMQ的消息模型没有RabbitMQ那么够用,但是基本的点对点、广播、发布订阅、事务等都是有的,面对绝大多数场景基本上是够用的。

博主在之前的中间件系列中也详细介绍了RabbitMQ的消息模型:

详解RocketMQ使用_rocketmq 使用__BugMan的博客-CSDN博客

4.Kafka

Kafka其实和RocketMQ很相似,一款具有高吞吐量、高可靠性的分布式消息中间件。其采用分布式架构顺序写序列化零拷贝等机制保证了高吞吐量,数据自动落磁盘完成持久化来保证消息不会丢失。

Kafka的内容其实和RocketMQ差不多,博主在之前的消息中间件系列中有详细讲过Kafka的上述内容:

Kafka概论__BugMan的博客-CSDN博客

5.三大MQ的对比

重头戏来了,在实际开发中,要用到MQ时,对MQ的选型是很重要的,选型的基础是一定要了解MQ的特点和适用的场景。

Kafka:

  • 优点:

    • 吞吐量:Kafka的设计目标是实现高吞吐量的消息传递,拥有很大的吞吐量,适用于处理大量的实时数据流。

    • 扩展性:Kafka采用分布式架构,允许构建具有高可用性和可伸缩性的消息系统。

    • 可靠性:Kafka将消息持久化到磁盘上,可以长期保留数据,并支持高效的消息回放。

  • 缺点:

    • 复杂性:Kafka的配置和管理相对较复杂,需要一定的学习和运维成本。

    • 实时性:由于Kafka是批量处理数据的,并且由于需要在分区之间进行数据的复制和同步,所以相对于其它MQ,kafka会存在一定时延。

    • 功能丰富度:支持的消费模式比较单一

RabbitMQ:

  • 优点:

    • 功能丰富度:RabbitMQ支持灵活的路由机制和多种消息模式,如点对点、发布-订阅和主题订阅等。

    • 可靠性:RabbitMQ通过消息确认机制和持久化可以保证消息的可靠传递。

    • 兼容性:RabbitMQ使用标准的AMQP协议,支持跨语言和平台的互操作性。

  • 缺点:

    • 吞吐量:没有做拉升吞吐量的优化所以相比于其他消息队列系统,RabbitMQ的吞吐量较低。

    • 扩展性:RabbitMQ的集群管理较为复杂,需要很多额外的配置和管理。

RocketMQ:

  • 优点:

    • 高吞吐量和低延迟:RocketMQ是为处理大规模数据流设计的,具有高吞吐量和低延迟的特点。RocketMQ的时延。

    • 可靠性:存在持久化机制、确认机制,具有高可靠性。

    • 扩展性:RocketMQ支持水平扩展,可以通过添加更多的节点来提高系统的性能和容量。

  • 缺点:

    • 社区支持:相对于Kafka和RabbitMQ,RocketMQ的社区支持相对较弱。

    • 功能丰富度:RocketMQ在功能上相对较为简化,可能不适用于复杂的消息处理场景。

适用场景:

  • RabbitMQ适用于对消息可靠性要求高或者灵活的消息路由和多种消息模式的场景,如任务队列、发布-订阅和事件驱动架构。

  • Kafka虽然存在一些时延,但是这个时延并不会很大,总体上来说Kafka和rocket适用的场景是高度重叠的,RocketMQ和Kafka都专注于高吞吐量和低延迟的场景,因此它们都适用于需要处理大规模数据流和实时消息传递的应用。Kafka在大数据领域具有广泛的应用,与Hadoop、Spark等工具有良好的集成。RocketMQ在互联网领域应用较为广泛,适用于电商、物流等场景。

更多推荐

典型数据结构-栈/队列/链表、哈希查找、二叉树(BT)、线索二叉树、二叉排序树(BST树)、平衡二叉树(AVL树)、红黑树(RB树)

目录典型数据结构列举栈/队列/链表树二叉树线索二叉树二叉排序树平衡二叉树(AVL树)红黑树其它树种和应用介绍典型数据结构列举栈/队列/链表描述略。一些基本的简单实现参考/数据结构简单实现/文件夹里面。线性表详解:数据结构线性表10分钟入门(biancheng.net)。栈(Stack)和队列(Queue)详解(bian

EMQX Enterprise 5.2 发布:Flow 设计器,Amazon Kinesis,Azure Event Hubs

EMQXEnterprise5.2.0版本现已正式发布!新版本带来了一系列重磅更新,最令人瞩目的是可拖拽的可视化Flow设计器,它可以帮助企业快速创建、测试和部署数据集成。同时,我们新增了对AmazonKinesis和AzureEventHubs的支持,实现了海量物联网设备数据与云服务的无缝连接。此外,新版本还进行了多

【数据结构】堆的创建

💐🌸🌷🍀🌹🌻🌺🍁🍃🍂🌿🍄🍝🍛🍤📃个人主页:阿然成长日记👈点击可跳转📆个人专栏:🔹数据结构与算法🔹C语言进阶🚩不能则学,不知则问,耻于问人,决无长进🍭🍯🍎🍏🍊🍋🍒🍇🍉🍓🍑🍈🍌🍐🍍文章目录一、基于大堆的上下调整1.向上调整(1)解决措施:(2)代码实现

【小知识送书2】从不了解用户画像,到用画像数据赋能业务看这一本书就够了丨《用户画像:平台构建与业务实践》

⭐简单说两句⭐作者:后端小知识CSDN个人主页:后端小知识🔎GZH:后端小知识🎉欢迎关注🔎点赞👍收藏⭐️留言📝简单说两句🎁本次送书1~3本取决于阅读量,阅读量越多,送的越多😎欢迎大家在评论区留言,随机挑选幸运观众额,选中的幸运观众将会通过私信告知截止时间:2023-09-23引言在大数据时代,如何有效地挖

认识非托管动态链接库

一、非托管动态链接库1、非托管动态链接库(UnmanagedDynamicLinkLibrary,简称DLL)是一种包含可执行代码和数据的二进制文件,它被设计为在操作系统级别上执行。与托管代码不同,非托管DLL是使用原生机器代码编写的,并且不依赖于特定的运行时环境(如.NETFramework或.NETCore)。非托

字符串函数

目录一、求字符串长度strlen用法:注意:二、长度不受限制的字符串函数strcpy用法:注意:strcat用法:注意:用例:strcmp用法:三、长度受限制的字符串函数介绍strncpy用法:注意:用例:strnact用法:用例:strncmp用法:字符串查找strstr用法:用例:strtok用法:注意:用例:一、

并发的Clock服务

网络编程是并发大显身手的一个领域,由于服务器是最典型的需要同时处理很多连接的程序,这些连接一般来自于彼此独立的客户端。在本小节中,我们会讲解go语言的net包,这个包提供编写一个网络客户端或者服务器程序的基本组件,无论两者间通信是使用TCP、UDP或者Unixdomainsockets。在第一章中我们使用过的net/h

前端工程化小记

1.引言工作中,我们是否经常遇到以下情况:接手其他同事的代码非常痛苦,比如:缩进,换行等等代码风格这些一度让人浑身难受某个同事经常提语法报错的代码,语法报错只能用肉眼一个个review代码,完全没有提示同事每个人写的commit风格都不一样,也有偷懒的,一个单词搞定的,但是也不描述本次更改是属于什么范畴?比如:是加功能

前端JavaScript中MutationObserver:监测DOM变化的强大工具

🎬岸边的风:个人主页🔥个人专栏:《VUE》《javaScript》⛺️生活的理想,就是为了理想的生活!目录引言1.MutationObserver简介2.MutationObserver的属性3.MutationObserver的应用场景3.1动态内容加载3.2表单验证3.响应式布局3.4自定义组件开发4.使用Mu

Python 人工智能编程指南:基础、库和工具大全解析

Python已成为人工智能(AI)和机器学习领域的通用语言。其广泛的应用、强大的库生态系统和用户友好的语法使其成为人工智能爱好者、数据科学家和研究人员的理想选择。在这份综合指南中,我们将探讨用于AI编程的Python基础知识,深入研究关键库,并重点介绍AI开发的基本工具。Python:人工智能的语言Python在人工智

按图搜索淘宝商品(拍立淘)API接口 搜爆款商品 图片搜索功能api 调用示例

接口名称:item_search_img公共参数请求地址:测试item_search_img名称类型必须描述keyString是调用key(必须以GET方式拼接在URL中)secretString是调用密钥api_nameString是API接口名称(包括在请求地址中)[item_search,item_get,ite

热文推荐