news 2026/7/24 1:23:10

我为什么单一消费者的场景下,要用 Redis List 当消息队列?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
我为什么单一消费者的场景下,要用 Redis List 当消息队列?

我为什么单一消费者的场景下,要用 Redis List 当消息队列?

List 做队列,到底有多简单?

Redis List 是一个双向链表,做队列只需要两个命令:

# 生产者入队LPUSH auto_material_tasks'{"task_id": 206}'# 消费者阻塞出队BLPOP auto_material_tasks30

没有 consumer group、没有 ACK、没有 pending、没有 offset。

消息格式就一条 JSON,里面只放一个task_id,消费者拿到 ID 后去 MySQL 查完整数据。

Redis 不存业务状态,只做"通知"这一件事。

在单一消费者的场景下,List 的简单性就是它的优势。

为什么不用 Stream?

Redis Stream 是 Redis 5.0 推出的正经 MQ 数据结构,有 ACK、消费者组、pending 列表、消息回溯、断点续消费,那为什么不用?

因为这些功能,项目里已经用MySQL实现了。

来看项目实际的任务模型:

┌─────────────┐ LPUSH ┌──────────────┐ ClaimPendingTask ┌─────────┐ │ Producer │ ───────────────→│ Redis List │←──(KEDA 监控长度)─────│ KEDA │ └─────────────┘ └──────┬───────┘ └────┬────┘ │ BLPOP │ ▼ 扩缩容 │ ┌─────────────┐ ┌──────────────┐ │ │ Consumer │ ──── 查完整数据 →│ MySQL │←──────────────────────────────┘ └─────────────┘ └──────────────┘

ACK?MySQL 的 CAS 认领已经做了

每个 worker 拿到的不是一个消息,而是去 MySQL 执行ClaimPendingTask,这条 SQL 用UPDATE ... WHERE status = 0做乐观锁认领任务。

谁 update 到的行数 > 0,谁就"拿了锁",其他 worker 自动跳过。

这本身就是 ACK 机制:认领成功 = 确认消费,不需要 Redis 再来一套 XACK。

消费者组?KEDA ScaledJob 一任务一进程

Stream 的消费者组解决的是"同一队列多个消费者如何分配消息"的问题。

本项目的消费者模型是 KEDA 监测 Redis List 长度,动态创建 K8s Job。

每个 Job 是一个独立进程,跑完就销毁。

不存在"多进程争抢同一个队列"的场景,伸缩的单位是进程,不是线程。

消息丢了?RetryScanOnce 定时扫描兜底

List 最大的硬伤是BLPOP弹出即删,消费者崩了消息就没了。

在项目里有个定时任务RetryScanOnce,每隔一段时间就去 MySQL 扫描超时未完成的任务,重新塞回队列。

消息可靠性的兜底在 MySQL,不在 Redis

Redis 丢消息可以容忍,因为 MySQL 里的状态没丢。

消息回溯? 有Mysql任务表

Stream 支持根据消息 ID 回溯历史消息。

在项目里,队列消息体就一个{"task_id": 206},没有任何需要回溯的业务数据。

真要排查,去 MySQL 查任务表,完整的状态变更历史全在那。

为什么不用 MySQL 当队列?

  1. 轮询开销大:200 个 worker 每秒SELECT ... WHERE status = 0 LIMIT 1,这就是 200 QPS 的空查询,纯浪费。
  2. 锁竞争激烈SELECT FOR UPDATEUPDATE ... WHERE status = 0,并发一高 MySQL 锁竞争严重,吞吐量上不去。
  3. KEDA 不认 MySQL 列表长度:KEDA 原生支持监控 Redis List 长度做扩缩容,MySQL 只能自己写 metrics 接口。
  4. BLPOP零浪费:阻塞等,有消息立刻唤醒,没消息就等着,零 CPU 消耗。MySQL 轮询做不到这一点。

List 当通知,DB 当状态机

职责承担者为什么
任务通知Redis List快、阻塞、零轮询
任务状态MySQL事务、持久化、复杂查询
可靠性兜底MySQL + 定时扫描状态机不丢,消息就能补
弹性伸缩KEDA + Redis List原生支持 List 长度监控

代价是什么?

  • 消息格式自己校验:Redis 不关心你塞的字符串是不是合法 JSON,应用层json.Unmarshal失败了就丢掉,打一行 error log。
  • 没有死信队列:消息处理失败没有自动重试和转存,得自己写逻辑。
  • 没有消息回溯:想重跑某条历史消息?去 MySQL 手动改任务状态。
  • 不能广播:一条消息只能被一个消费者拿走,想多个服务同时收到?在业务层再发一条。
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/24 1:21:25

二升三暑假计算大通关|人教版同步衔接 每日筑牢低年级计算底子

很多家长都有体会,二升三是小学数学计算的第一个转折关口。二年级还停留在表内乘除、百以内加减法,孩子算起来还算顺手,一到三年级就要接触万以内加减、多位数乘除,计算量和复杂度一下提上来。不少孩子暑假彻底放松,开…

作者头像 李华
网站建设 2026/7/24 1:20:39

服装进销存软件,到底值不值那个价?

这两年服装实体店的老板们见面,聊得最多的不是哪款衣服爆了,而是“利润去哪了”。房租、人工、进货成本一样没少,线上流量贵得离谱,线下客流还被短视频平台分流。很多老板开始动心思:要不要上一套进销存软件&#xff1…

作者头像 李华
网站建设 2026/7/24 1:15:37

Python+Django双算法电商推荐系统实战解析

1. 项目概述:PythonDjango双算法推荐系统这个基于PythonDjango的电商商品推荐系统,是我在指导计算机专业毕业设计时反复打磨的实战项目。不同于市面上简单的管理系统,它深度融合了协同过滤和内容推荐两种算法,配合Bootstrap可视化…

作者头像 李华
网站建设 2026/7/24 1:12:23

【Rust中级教程】1.8. 内存 Pt.6:通过操作系统扫描地址空间

1.8 内存 Pt.6:通过操作系统扫描地址空间 1.8.1. 通过操作系统扫描地址空间(例子) 操作系统提供了接口可让程序发出请求——系统调用(system call)。在Windows里,KERNEL.DLL提供了用于检查和操纵运行进程内存 的功能。 这个例子…

作者头像 李华
网站建设 2026/7/24 1:12:13

C# WinForm飞机大战游戏开发:从零实现GDI+图形绘制与游戏循环

1. 项目概述与核心思路最近在整理硬盘,翻出来一个十多年前刚学C#时做的飞机大战游戏项目。当时WinForm还是桌面开发的主流,用GDI在窗体上“画”出一个能打飞机的游戏,对初学者来说成就感爆棚。今天重新审视这个项目,发现它麻雀虽小…

作者头像 李华