RabbitMQ安装DelayExchange插件实现延迟队列
  2HyDHh3MOg71 2023年11月02日 16 0

1.消息堆积问题介绍

当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。

RabbitMQ安装DelayExchange插件实现延迟队列_发送消息

解决消息堆积有三种种思路

  • 增加更多消费者,提高消费速度
  • 在消费者内开启线程池加快消息处理速度
  • 扩大队列容积,提高堆积上限

注意:要提升队列容积,把消息保存在内存中显然是不行的。

思考:消息不放内存,放在哪里?

2.惰性队列(Lazy Queues)

RabbitMQ的3.6.0版本开始,就增加了Lazy Queues的概念,也就是惰性队列。惰性队列的特征如下:

  • 接收到消息后直接存入磁盘而非内存
  • 消费者要消费消息时才会从磁盘中读取并加载到内存
  • 支持数百万条的消息存储

2.1. 基于RabbitMQ客户端创建设置

我们可以在客户端通过图形化创建队列,在创建队列的时候选择x-queue-mode属性为lazy

RabbitMQ安装DelayExchange插件实现延迟队列_消息队列_02

2.2. 基于命令行设置lazy-queue

设置一个队列为惰性队列,只需要在声明队列时,指定x-queue-mode属性为lazy即可。可以通过命令行将一个运行中的队列修改为惰性队列:

rabbitmqctl set_policy Lazy "^lazy-queue$" '{"queue-mode":"lazy"}' --apply-to queues

命令解读:

  • rabbitmqctl :RabbitMQ的命令行工具
  • set_policy :添加一个策略
  • Lazy :策略名称,可以自定义
  • "^lazy-queue$" :用正则表达式匹配队列的名字
  • '{"queue-mode":"lazy"}' :设置队列模式为lazy模式
  • --apply-to queues:策略的作用对象,是所有的队列

2.3. 基于@Bean声明lazy-queue

在消费端设置队列

@Configuration
public class LazyConfig {


    //2.声明队列
    @Bean
    public Queue lazyQueue(){
        return QueueBuilder
                .durable("lazy1.queue")
                .lazy() //声明x-queue-mode属性为lazy,也就是惰性队列
                .build();
    }
}

2.4.基于@RabbitListener声明LazyQueue

@RabbitListener(queuesToDeclare = @Queue(
        name = "lazy.queue",
        durable = "true",
        arguments = @Argument(name = "x-queue-mode" ,value="lazy")
))
public void listenlazyQueue(String msg){
    System.out.println("lazy.queue 接收到-----:"+msg+"  =====================时间为: "+ LocalTime.now());
}

RabbitMQ安装DelayExchange插件实现延迟队列_发送消息_03

2.5.测试

在消息发送队创建接口测试

@GetMapping("/lazy/{msg}")
public String lazyMsg(@PathVariable("msg") String msg){

    // 发送消息
    rabbitTemplate.convertAndSend("lazy.queue", msg);

    return "发送成功 时间为"+ LocalTime.now();
}
  • 在浏览器输入http://localhost:8888/publisher/lazy/惰性队列
  • RabbitMQ安装DelayExchange插件实现延迟队列_消息队列_04

  • 我们会发现消息不存储在in memory(内存中),而是持久化(即消息存储在磁盘)

注意:为了模拟出,上面效果,只启动发送消息项目,不启动接收消息项目

3.总结

消息堆积问题的解决方案

  • 队列上绑定多个消费者,提高消费速度
  • 使用惰性队列,可以再mq中保存更多消息

惰性队列的优点

  • 基于磁盘存储,消息上限高
  • 没有间歇性的page-out,性能比较稳定

惰性队列的缺点

  • 基于磁盘存储,消息时效性会降低
  • 性能受限于磁盘的IO
【版权声明】本文内容来自摩杜云社区用户原创、第三方投稿、转载,内容版权归原作者所有。本网站的目的在于传递更多信息,不拥有版权,亦不承担相应法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@moduyun.com

  1. 分享:
最后一次编辑于 2023年11月08日 0

暂无评论

推荐阅读
2HyDHh3MOg71