Что такое…

Что такое очередь задач — и почему долгая работа не живёт внутри запроса

Иллюстрация: номерок вместо ожидания у стойки

Ты добавил в приложение генерацию видео. На своей машине всё работало. На хостинге — «504 Gateway Timeout» ровно на первой же кнопке.

Код не сломался. Просто никто не собирался ждать три минуты.

HTTP-запрос — это разговор с таймером. У браузера свой лимит, у прокси перед твоим приложением — свой, у serverless-платформы — свой. Кто первый устал, тот и рвёт соединение. И тогда пользователь видит ошибку, хотя видео, возможно, уже почти готово.

Лечится это не «поднять таймаут побольше», а сменой схемы: отдать номерок.

Номерок вместо ожидания у стойки

В гардеробе ты не стоишь у стойки, пока пальто несут. Ты берёшь номерок и уходишь. Пальто едет своим темпом, номерок — твоя связь с ним.

Очередь задач работает так же:

  1. Приложение принимает запрос и кладёт задачу в очередь («сделай видео по такому промпту»).
  2. Сразу отвечает пользователю: «принято, вот id задачи». Соединение закрывается за миллисекунды — таймауту нечего рвать.
  3. Отдельный процесс — воркер — берёт задачу из очереди и выполняет её без всяких лимитов запроса.
  4. Пользователь узнаёт результат: страница спрашивает по id или ему прилетает вебхук.

Три роли, которые стоит различать: отправитель (кладёт), очередь (хранит и раздаёт), воркер (делает). Отправитель и воркер могут жить на разных машинах и вообще не знать друг о друге.

Главный сюрприз: задача может выполниться дважды

Вот тут новички обжигаются, и это самое полезное, что можно унести из статьи.

Когда воркер берёт задачу, очередь не удаляет её. Она делает её невидимой на N секунд — это называется visibility timeout. Дальше два варианта:

  • воркер справился и подтвердил — задача удаляется;
  • воркер молчит (упал, завис, потерял сеть) — таймаут истекает, задача снова становится видимой, и её берёт кто-то другой.

Именно так устроена, например, pgmq — очередь прямо внутри Postgres, на которой построены очереди в Supabase: при чтении сообщения ты обязан передать vt, время невидимости.

Логика железная: лучше сделать работу дважды, чем потерять её навсегда. Но это значит, что твой воркер обязан переживать повтор. Списание денег, отправка письма, публикация поста — всё это может выполниться второй раз, если первая попытка упала в самом конце.

Практическое правило: перед работой проверяй, не сделана ли она уже. Записал результат под ключом задачи — при повторе просто верни готовое, а не делай заново.

А задача, которая падает раз за разом, не должна крутиться вечно: после нескольких попыток её отправляют в отдельный «ящик для битого» (dead letter queue), чтобы ты посмотрел глазами, а очередь жила дальше.

Где взять очередь, если не хочешь админить Redis

Хорошая новость: отдельный сервер под очередь новичку не нужен.

  • Очередь в базе. Если у тебя уже есть Postgres — очередь можно завести прямо в нём (pgmq), а запускать обработку по расписанию через cron. Меньше движущихся частей — меньше того, что сломается.
  • Очередь у хостинга. Управляемые очереди есть почти у всех облаков: создаёшь очередь, пишешь функцию-воркер, всё остальное — их забота.
  • Готовые сервисы фоновых задач. Ты пишешь обычную функцию и помечаешь её как фоновую; ретраи, расписание и наблюдение за падениями идут в комплекте.
  • Redis + библиотека задач. Классика, если нужен полный контроль и не пугает своя инфраструктура.

Начни с той, что ближе к твоему стеку. Очередь — это паттерн, а не конкретный продукт: перепрыгнуть с одной на другую позже несложно, потому что код воркера почти не меняется.

Когда очередь тебе точно нужна

Смотри на два признака: работа дольше пары секунд или её не обязательно делать прямо сейчас.

Под это попадает почти всё интересное в ИИ-приложениях: генерация картинки или видео, разбор длинного PDF, расчёт эмбеддингов для базы знаний, массовая рассылка. И скучное тоже: ресайз загруженных фото, ночной отчёт, синхронизация с чужим API, который иногда лежит.

А вот чат с моделью в очередь обычно не прячут — там пользователь смотрит на экран и ждёт ответа. Для него лучше стриминг: слова появляются по мере генерации, и ожидание перестаёт быть пустым.

Чем очередь отличается от cron?

Cron запускает работу по времени («каждый день в 3:00»), очередь — по событию («пользователь нажал кнопку»). Часто их совмещают: cron будит воркер, воркер разгребает накопившиеся задачи.

Можно обойтись без очереди, если задача одна и редкая?

Можно — если хостинг разрешает доделать работу после ответа пользователю (такие фоновые вызовы есть у многих платформ). Это дёшево и просто, но без ретраев: упал процесс — задача потеряна навсегда. Как только цена потери становится заметной, пора заводить настоящую очередь.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →