中英双板网站模版,网站的优势,石家庄建设网站的公司,wordpress 只显示文章标题文章目录 消息丢失的原因分析内存存储的缺陷如何确保 RabbitMQ 的消息可靠性#xff1f;数据持久化的三个方面持久化对性能的影响持久化实验验证性能对比Spring AMQP 默认持久化总结 消息丢失的原因分析
RabbitMQ 默认使用内存存储消息#xff0c;但这种方式带来了两个主要问… 文章目录 消息丢失的原因分析内存存储的缺陷如何确保 RabbitMQ 的消息可靠性数据持久化的三个方面持久化对性能的影响持久化实验验证性能对比Spring AMQP 默认持久化总结 消息丢失的原因分析
RabbitMQ 默认使用内存存储消息但这种方式带来了两个主要问题
内存不是永久存储内存中的数据会随着 RabbitMQ 的重启丢失。如果消息存储在内存中一旦 MQ 宕机或重启所有未持久化的消息都会丢失。内存空间有限如果消费者处理消息的速度较慢而生产者发送消息的速度过快MQ 会堆积大量的消息导致内存占满最终可能导致 MQ 阻塞。当内存满时RabbitMQ 会尝试将内存中的部分消息写入磁盘但此操作非常耗时会导致 MQ 无法处理更多的消息进而发生阻塞。 内存存储的缺陷
消息丢失因为内存不是持久化存储当 RabbitMQ 重启时内存中的所有数据包括交换机、队列、消息都将丢失。性能下降与阻塞内存满时消息需要被转移到磁盘磁盘的写入速度慢导致消息处理速度下降。如果消息堆积MQ 会阻塞不能继续接收或处理消息严重影响系统的实时性。 如何确保 RabbitMQ 的消息可靠性
要确保消息不丢失并且能够持续处理需要采取数据持久化的措施。数据持久化意味着将消息、队列和交换机的元数据存储在磁盘中确保即使 RabbitMQ 重启消息也不会丢失。 数据持久化的三个方面
为了确保数据在 RabbitMQ 中的可靠性需要对以下三方面进行持久化配置
交换机持久化
换机在 RabbitMQ 中负责路由消息。如果交换机丢失消息会丢失因此交换机必须持久化。默认情况下RabbitMQ 创建的交换机是持久化的。可以在创建交换机时通过设置 durabletrue 来指定交换机的持久化属性。 队列持久化
队列存储消息。如果队列丢失所有未处理的消息都会丢失因此队列也必须持久化。与交换机类似队列的 durable 属性应该设置为 true这样队列会在 RabbitMQ 重启后保留下来。 消息持久化
即使交换机和队列是持久化的如果消息本身没有被持久化消息依然会丢失。在发送消息时通过设置 delivery modepersistent 来将消息标记为持久化。这样消息就会被存储到磁盘中即使 RabbitMQ 重启消息也不会丢失。
持久化对性能的影响
非持久化消息 如果消息没有设置持久化RabbitMQ 会把消息存储在内存中。当内存满时它会将数据写入磁盘称为 paged out这会导致性能下降因为磁盘写入操作较慢。这种模式下MQ 可能会出现阻塞即消息发送速率骤降甚至停止处理消息。 持久化消息 如果消息是持久化的即每发送一条消息都立即写入磁盘不会等待内存满了才写。这种方式保证了消息不会丢失同时避免了 paged out 导致的阻塞问题。持久化消息的写入速度相对较慢但性能波动较小不会出现阻塞。虽然会有一些性能开销但不会像非持久化消息那样处理速度大幅下降。 持久化实验验证
非持久化消息发送 当发送大量例如 100 万条非持久化消息时如果队列或内存满了RabbitMQ 会将内存中的消息写入磁盘。在此过程中消息处理速度会显著下降甚至停滞导致性能严重下降。paged out 操作会导致消息的处理速度一度降为零之后才恢复。 持久化消息发送 当发送持久化消息时消息不仅存储在内存中还会立即写入磁盘。因此无论内存如何变化磁盘中的数据都能保持一致不会发生消息丢失。持久化模式下即使有大量消息需要处理RabbitMQ 仍然能够保持较高的处理速率没有明显的性能下降或阻塞。 性能对比
非持久化模式发送大量消息时随着内存满了系统会进行 paged out导致性能波动速率降低到零造成阻塞。持久化模式每条消息都会立即持久化到磁盘因此没有发生内存满了才写入的情况性能保持稳定处理速度平稳。 Spring AMQP 默认持久化
Spring AMQP 配置默认情况下Spring AMQP 创建的队列和交换机都是持久化的发送的消息也是持久化的。因此开发者不需要做额外的配置默认行为即可保证消息的可靠性。 总结
为了确保 RabbitMQ 的消息可靠性应采用以下措施
确保交换机、队列和消息都做持久化避免数据丢失。通过 Spring AMQP 默认配置可以确保消息的可靠性但需要注意消息持久化的性能开销。持久化虽然会带来一定的性能开销但比起非持久化模式导致的阻塞问题持久化更有利于系统的稳定性和可靠性。
