Linux上Laravel队列工作原理是什么

Linux 上 Laravel 队列工作原理

核心架构与名词

• 生产者与消费者模型：你的 **Laravel 应用（Web 进程）**作为生产者，通过 dispatch() 把实现了 ShouldQueue 的任务序列化后推入后端存储；一个或多个 Worker（php artisan queue:work） 作为消费者，从后端拉取任务并执行。队列配置位于 config/queue.php，支持 database、redis、beanstalkd、sqs、sync、null 等驱动。需要区分 连接（connection） 与 队列（queue）：一个连接可包含多个具名队列，用于区分业务类型与优先级。开发时可用 queue:listen 自动重载代码，生产环境不建议使用；生产推荐使用 Supervisor 守护 Worker 进程。

数据流转步骤

1. 任务入队：控制器/服务调用 dispatch($job)；若设置了 ->delay(…)，任务被标记为延迟任务；若使用 sync 驱动，则立即同步执行，不会进入队列。
2. 存储到后端：根据 QUEUE_CONNECTION 把任务写入对应后端（如数据库的 jobs 表、Redis 的 List/有序集合等）。
3. Worker 拉取与执行：Worker 持续轮询后端，取出可执行任务，进入“保留”状态并开始执行；执行成功则删除任务，失败则按策略重试或进入失败队列。
4. 延迟与重试：延迟任务在到达预定时间后被移动到可执行队列；失败任务可记录到 failed_jobs 表以便后续处理。
   上述流程对 database/redis 等驱动通用，差异主要体现在后端的数据结构与取数策略。

Redis 驱动的工作机制

• 数据结构与键名约定：默认使用 List 存放即时任务；延迟任务使用 ZSET（有序集合），以“到期时间戳”作为 score；正在执行的任务放入 reserved 集合（或等效机制）以便超时控制与确认删除。
• 典型处理路径：
  • 拉取延迟任务：Worker 以 ZRANGEBYSCORE 取出“已到期”的任务，移至即时队列或直接入 reserved 准备执行；
  • 拉取即时任务：从 List 弹出任务，写入 reserved 并记录尝试信息；
  • 完成/失败：成功则删除 reserved 中的任务；失败则根据 retry_after / tries / backoff 决定重试或入失败队列。
• 原子性与可靠性：Laravel 在 Redis 侧通过 Lua 脚本 将“取任务→保留→删除/重试”等操作打包为原子步骤，降低并发条件下的竞态风险。

数据库驱动的工作机制

• 表结构与状态机：使用 jobs 表存储任务，核心字段包含 queue、payload、attempts、reserved_at、available_at、reserved、created_at 等。常见状态流转为：
  • 入队：available_at 为“可运行时间”（即时任务通常为当前时间；延迟任务为未来时间），reserved_at/reserved 为空；
  • 拉取执行：将 reserved_at 设为当前时间并递增 attempts；
  • 完成/失败：成功则删除记录；失败则根据 attempts 与 retry_after 更新 available_at 重新入队或标记为失败。
• 轮询与锁：Worker 以“SELECT … FOR UPDATE SKIP LOCKED”方式（或等效的原子取数）获取未锁定且到期的任务，避免多个 Worker 争抢同一任务。

生产部署与常见坑

• 运行与守护：使用 Supervisor 管理 Worker，确保进程崩溃能自动重启；按需启动多个 Worker 并设置不同 –queue=high,default 实现优先级；开发可用 queue:listen，生产不建议。
• 延迟任务不执行排查：
  • 确认 QUEUE_CONNECTION != sync（sync 不会延迟）；
  • 确认后端就绪（database 需 php artisan queue:table && migrate；Redis 需可用且连接配置正确）；
  • 确认 Worker 正在运行（Supervisor 或前台长期运行），且未因代码变更导致进程未重载（开发用 listen，生产用队列重启策略）。
• 监控与可视化：使用 Laravel Horizon 监控队列吞吐、失败重试、延时堆积等指标，便于容量规划与故障定位。