Что такое Batch API — как платить за те же токены вдвое меньше

Смотри, странная штука. У OpenAI, Anthropic и Google есть как бы второй прайс-лист, где те же самые модели стоят ровно вдвое дешевле. Не урезанные версии, не прошлогодние — те же. И скидка включается не промокодом, а одним параметром в запросе.
Плата за неё ровно одна: ты не получаешь ответ сразу. Это Batch API — и если у тебя есть хоть что-то, что крутится в фоне, это самый дешёвый в реализации способ срезать счёт вдвое.
Что такое Batch API простыми словами
Batch API — режим, в котором ты сдаёшь модели пачку задач разом и забираешь ответы позже, вместо того чтобы ждать каждый ответ вживую.
Аналогия — фотопечать. Можно принести один снимок и стоять у автомата: быстро, но дорого. А можно сдать сотню и забрать завтра — та же бумага, та же печать, цена вдвое ниже. Провайдеру так удобно: он раскидает твою пачку по «дыркам» в загрузке серверов. За эту гибкость он делится скидкой.
Технически это не похоже на чат. Это обмен файлами:
- складываешь все запросы в один файл — по строчке на запрос;
- загружаешь его и создаёшь батч;
- периодически спрашиваешь статус;
- когда пачка закрыта — забираешь файл с ответами.
Каждой строке ты сам присваиваешь идентификатор, и в ответном файле он же — так ты понимаешь, где чей ответ. Порядок строк не гарантируется, так что склеивать результаты надо по идентификатору, а не по номеру строки.
Скидка ровно вдвое — и это не маркетинг
Цифры одинаковые у всех троих больших:
- OpenAI Batch API — минус 50% на все модели, окно выполнения до 24 часов;
- Anthropic Message Batches — минус 50% и на входные, и на выходные токены, до 100 000 запросов в одной пачке;
- Google Gemini batch — те же минус 50%.
Ключевое: скидка не трогает качество. Это та же модель с теми же весами и тем же контекстом. Меняется только то, когда она до тебя доберётся.
В чём подвох
Подвох честный и ровно один — ответ не приходит в ту же секунду. Из него растут три следствия.
- Никакого интерактива. Если на том конце живой человек смотрит на спиннер — batch не подходит в принципе.
- Нет ответа по кусочкам. Стриминга здесь не бывает: результат приходит целиком, файлом. Ощущения «модель печатает» не будет.
- Об ошибке узнаешь не сразу. Криво собрал промпт — выяснишь это не через две секунды, а когда вернётся пачка. Поэтому первым делом гоняют 2–3 запроса в обычном режиме и только потом заряжают тысячу.
Когда включать — конкретные случаи
Batch окупается там, где задач много, а срочности нет:
- разложить по категориям пару тысяч отзывов;
- сгенерировать описания для 10 000 карточек товара;
- ночью пересобрать краткие пересказы всех новых статей;
- посчитать эмбеддинги для всей базы разом;
- регулярно прогонять проверку качества ответов своего бота.
Заметь закономерность: это ровно те задачи, на которых счёт и разрастается. Один запрос стоит копейки — но их десять тысяч. Половина от большого числа — уже настоящие деньги.
И главное — переезд почти ничего не стоит. Не надо менять модель, резать промпты, переписывать логику. Меняется способ отправки. Остальные рычаги, если счёт всё ещё большой, разобраны в гайде как сэкономить на запросах к ИИ.
Что с этим делать прямо сейчас
Открой список того, что у тебя уже работает в фоне: крон, ночная обработка, разовый скрипт «прогнать всю таблицу». По каждому пункту задай один вопрос — ждёт ли этот ответ живой человек прямо сейчас?
Каждое «нет» в этом списке стоит вдвое дешевле, чем ты за него платишь. И дальше это остаётся полезной привычкой при проектировании: развилка «синхронно или в фоне» — это ещё и развилка по цене.
Batch API — это отдельная дешёвая модель?
Нет. Модель, веса и качество те же самые. Дешевле только доставка: провайдер получает право выполнить твою пачку в удобный себе момент в пределах суток.
Сколько на самом деле ждать?
Гарантия — 24 часа, но обычно пачки закрываются за один–шесть часов, в зависимости от размера и текущей загрузки. Планируй по гарантии, радуйся факту.
Можно отменить пачку, если ошибся?
Да, отмена есть у всех. Но пока пачка не закрыта, ответов ты не видишь — так что дешевле не отменять, а проверить промпт на трёх запросах в обычном режиме до отправки.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





