AI-инструменты

Что такое Batch API — как платить за те же токены вдвое меньше

Иллюстрация: пачка задач едет по медленной ленте, рядом — быстрое одиночное окошко

Смотри, странная штука. У OpenAI, Anthropic и Google есть как бы второй прайс-лист, где те же самые модели стоят ровно вдвое дешевле. Не урезанные версии, не прошлогодние — те же. И скидка включается не промокодом, а одним параметром в запросе.

Плата за неё ровно одна: ты не получаешь ответ сразу. Это Batch API — и если у тебя есть хоть что-то, что крутится в фоне, это самый дешёвый в реализации способ срезать счёт вдвое.

Что такое Batch API простыми словами

Batch API — режим, в котором ты сдаёшь модели пачку задач разом и забираешь ответы позже, вместо того чтобы ждать каждый ответ вживую.

Аналогия — фотопечать. Можно принести один снимок и стоять у автомата: быстро, но дорого. А можно сдать сотню и забрать завтра — та же бумага, та же печать, цена вдвое ниже. Провайдеру так удобно: он раскидает твою пачку по «дыркам» в загрузке серверов. За эту гибкость он делится скидкой.

Технически это не похоже на чат. Это обмен файлами:

  1. складываешь все запросы в один файл — по строчке на запрос;
  2. загружаешь его и создаёшь батч;
  3. периодически спрашиваешь статус;
  4. когда пачка закрыта — забираешь файл с ответами.

Каждой строке ты сам присваиваешь идентификатор, и в ответном файле он же — так ты понимаешь, где чей ответ. Порядок строк не гарантируется, так что склеивать результаты надо по идентификатору, а не по номеру строки.

Скидка ровно вдвое — и это не маркетинг

Цифры одинаковые у всех троих больших:

  • OpenAI Batch API — минус 50% на все модели, окно выполнения до 24 часов;
  • Anthropic Message Batches — минус 50% и на входные, и на выходные токены, до 100 000 запросов в одной пачке;
  • Google Gemini batch — те же минус 50%.

Ключевое: скидка не трогает качество. Это та же модель с теми же весами и тем же контекстом. Меняется только то, когда она до тебя доберётся.

В чём подвох

Подвох честный и ровно один — ответ не приходит в ту же секунду. Из него растут три следствия.

  • Никакого интерактива. Если на том конце живой человек смотрит на спиннер — batch не подходит в принципе.
  • Нет ответа по кусочкам. Стриминга здесь не бывает: результат приходит целиком, файлом. Ощущения «модель печатает» не будет.
  • Об ошибке узнаешь не сразу. Криво собрал промпт — выяснишь это не через две секунды, а когда вернётся пачка. Поэтому первым делом гоняют 2–3 запроса в обычном режиме и только потом заряжают тысячу.

Когда включать — конкретные случаи

Batch окупается там, где задач много, а срочности нет:

  • разложить по категориям пару тысяч отзывов;
  • сгенерировать описания для 10 000 карточек товара;
  • ночью пересобрать краткие пересказы всех новых статей;
  • посчитать эмбеддинги для всей базы разом;
  • регулярно прогонять проверку качества ответов своего бота.

Заметь закономерность: это ровно те задачи, на которых счёт и разрастается. Один запрос стоит копейки — но их десять тысяч. Половина от большого числа — уже настоящие деньги.

И главное — переезд почти ничего не стоит. Не надо менять модель, резать промпты, переписывать логику. Меняется способ отправки. Остальные рычаги, если счёт всё ещё большой, разобраны в гайде как сэкономить на запросах к ИИ.

Что с этим делать прямо сейчас

Открой список того, что у тебя уже работает в фоне: крон, ночная обработка, разовый скрипт «прогнать всю таблицу». По каждому пункту задай один вопрос — ждёт ли этот ответ живой человек прямо сейчас?

Каждое «нет» в этом списке стоит вдвое дешевле, чем ты за него платишь. И дальше это остаётся полезной привычкой при проектировании: развилка «синхронно или в фоне» — это ещё и развилка по цене.

Batch API — это отдельная дешёвая модель?

Нет. Модель, веса и качество те же самые. Дешевле только доставка: провайдер получает право выполнить твою пачку в удобный себе момент в пределах суток.

Сколько на самом деле ждать?

Гарантия — 24 часа, но обычно пачки закрываются за один–шесть часов, в зависимости от размера и текущей загрузки. Планируй по гарантии, радуйся факту.

Можно отменить пачку, если ошибся?

Да, отмена есть у всех. Но пока пачка не закрыта, ответов ты не видишь — так что дешевле не отменять, а проверить промпт на трёх запросах в обычном режиме до отправки.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →