Что такое очередь задач — и почему долгая работа не живёт внутри запроса

Ты добавил в приложение генерацию видео. На своей машине всё работало. На хостинге — «504 Gateway Timeout» ровно на первой же кнопке.
Код не сломался. Просто никто не собирался ждать три минуты.
HTTP-запрос — это разговор с таймером. У браузера свой лимит, у прокси перед твоим приложением — свой, у serverless-платформы — свой. Кто первый устал, тот и рвёт соединение. И тогда пользователь видит ошибку, хотя видео, возможно, уже почти готово.
Лечится это не «поднять таймаут побольше», а сменой схемы: отдать номерок.
Номерок вместо ожидания у стойки
В гардеробе ты не стоишь у стойки, пока пальто несут. Ты берёшь номерок и уходишь. Пальто едет своим темпом, номерок — твоя связь с ним.
Очередь задач работает так же:
- Приложение принимает запрос и кладёт задачу в очередь («сделай видео по такому промпту»).
- Сразу отвечает пользователю: «принято, вот id задачи». Соединение закрывается за миллисекунды — таймауту нечего рвать.
- Отдельный процесс — воркер — берёт задачу из очереди и выполняет её без всяких лимитов запроса.
- Пользователь узнаёт результат: страница спрашивает по id или ему прилетает вебхук.
Три роли, которые стоит различать: отправитель (кладёт), очередь (хранит и раздаёт), воркер (делает). Отправитель и воркер могут жить на разных машинах и вообще не знать друг о друге.
Главный сюрприз: задача может выполниться дважды
Вот тут новички обжигаются, и это самое полезное, что можно унести из статьи.
Когда воркер берёт задачу, очередь не удаляет её. Она делает её невидимой на N секунд — это называется visibility timeout. Дальше два варианта:
- воркер справился и подтвердил — задача удаляется;
- воркер молчит (упал, завис, потерял сеть) — таймаут истекает, задача снова становится видимой, и её берёт кто-то другой.
Именно так устроена, например, pgmq — очередь прямо внутри Postgres, на которой построены очереди в Supabase: при чтении сообщения ты обязан передать vt, время невидимости.
Логика железная: лучше сделать работу дважды, чем потерять её навсегда. Но это значит, что твой воркер обязан переживать повтор. Списание денег, отправка письма, публикация поста — всё это может выполниться второй раз, если первая попытка упала в самом конце.
Практическое правило: перед работой проверяй, не сделана ли она уже. Записал результат под ключом задачи — при повторе просто верни готовое, а не делай заново.
А задача, которая падает раз за разом, не должна крутиться вечно: после нескольких попыток её отправляют в отдельный «ящик для битого» (dead letter queue), чтобы ты посмотрел глазами, а очередь жила дальше.
Где взять очередь, если не хочешь админить Redis
Хорошая новость: отдельный сервер под очередь новичку не нужен.
- Очередь в базе. Если у тебя уже есть Postgres — очередь можно завести прямо в нём (
pgmq), а запускать обработку по расписанию через cron. Меньше движущихся частей — меньше того, что сломается. - Очередь у хостинга. Управляемые очереди есть почти у всех облаков: создаёшь очередь, пишешь функцию-воркер, всё остальное — их забота.
- Готовые сервисы фоновых задач. Ты пишешь обычную функцию и помечаешь её как фоновую; ретраи, расписание и наблюдение за падениями идут в комплекте.
- Redis + библиотека задач. Классика, если нужен полный контроль и не пугает своя инфраструктура.
Начни с той, что ближе к твоему стеку. Очередь — это паттерн, а не конкретный продукт: перепрыгнуть с одной на другую позже несложно, потому что код воркера почти не меняется.
Когда очередь тебе точно нужна
Смотри на два признака: работа дольше пары секунд или её не обязательно делать прямо сейчас.
Под это попадает почти всё интересное в ИИ-приложениях: генерация картинки или видео, разбор длинного PDF, расчёт эмбеддингов для базы знаний, массовая рассылка. И скучное тоже: ресайз загруженных фото, ночной отчёт, синхронизация с чужим API, который иногда лежит.
А вот чат с моделью в очередь обычно не прячут — там пользователь смотрит на экран и ждёт ответа. Для него лучше стриминг: слова появляются по мере генерации, и ожидание перестаёт быть пустым.
Чем очередь отличается от cron?
Cron запускает работу по времени («каждый день в 3:00»), очередь — по событию («пользователь нажал кнопку»). Часто их совмещают: cron будит воркер, воркер разгребает накопившиеся задачи.
Можно обойтись без очереди, если задача одна и редкая?
Можно — если хостинг разрешает доделать работу после ответа пользователю (такие фоновые вызовы есть у многих платформ). Это дёшево и просто, но без ретраев: упал процесс — задача потеряна навсегда. Как только цена потери становится заметной, пора заводить настоящую очередь.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





