Почему ИИ так много списывает — куда на самом деле утекают токены

Знакомая паника: открываешь панель с расходами на ИИ, а там сумма вдвое больше, чем ты ждал. Запросов вроде столько же, приложение то же — откуда счёт? Хорошая новость: почти всегда виновата одна из трёх причин, и каждая чинится. Разберём по порядку, от самой частой.

Сначала общий принцип, без которого не понять остального: ты платишь не за «запрос», а за токены — кусочки текста и на входе, и на выходе. Держи это в голове, дальше всё встанет на места.

Причина 1. Ты платишь за весь контекст каждый раз (самая частая)

Вот главная ловушка. Модель не помнит прошлые сообщения сама по себе. Чтобы чат-бот «помнил» разговор, твой код на каждый новый вопрос отправляет всю историю целиком — снова и снова. Диалог растёт — и каждый следующий запрос дороже предыдущего, хотя вопрос ты задал короткий.

Тот же капкан с документами: суёшь в каждый запрос весь PDF на 40 страниц, чтобы «модель знала контекст». Сорок страниц токенов — в каждом обращении.

Как проверить. Посмотри, что реально уходит в запрос: там вся переписка или только последнее? Весь документ или нужный кусок?

Как починить. Обрезай контекст: шли только последние несколько сообщений или короткую выжимку прошлого, а не всю простыню. Для документов — доставай в запрос только релевантный фрагмент, а не файл целиком.

Причина 2. Дорогая модель там, где хватило бы дешёвой

Вторая по частоте. Топовая модель может стоить в десятки раз дороже младшей за те же токены. И если ты гоняешь через флагман всё подряд — включая «извлеки число из строки» или «поставь запятую» — ты переплачиваешь за простые задачи по цене сложных.

Как проверить. Пройдись по своим вызовам модели и честно спроси у каждого: тут правда нужен самый умный, или справилась бы модель попроще?

Как починить. Раздели задачи. Тяжёлое рассуждение — дорогой модели, рутину — дешёвой. Это часто режет счёт сильнее всего; подробнее — в разборе, как сэкономить на ИИ. Как выбрать модель под конкретную задачу, а не по рейтингу — отдельно.

Причина 3. Код дёргает модель по кругу

Третья причина — техническая и самая обидная, потому что деньги тают без всякой пользы.

• Цикл без предела. ИИ написал тебе код, где вызов модели попал внутрь цикла с ошибкой выхода — и он молотит запросы сотнями.
• Нет кеша. Одни и те же вопросы задаются модели заново каждый раз, хотя ответ не меняется.
• Агрессивные повторы. При ошибке код повторяет запрос без паузы и без лимита — и удваивает-утраивает расход на пустом месте.

Как проверить. Глянь на число запросов в панели за короткий отрезок. Резкий всплеск на ровном месте — почти всегда цикл или повторы.

Как починить. Поставь предохранитель на частоту — как добавить rate limiting, разобрано по шагам. Повторяющиеся ответы кешируй. И держи потолок расходов в самой панели провайдера, если он есть, — это последняя страховка.

Общее правило: следи не за числом запросов, а за токенами. Один «маленький» вопрос с гигантским контекстом стоит дороже сотни коротких. Счёт растёт там, где растёт объём текста, а не число нажатий Enter.

Как понять, за что именно списали?

В панели провайдера (usage / billing) обычно видно токены на входе и на выходе. Сравни всплеск по датам с тем, что менял в коде: вырос контекст? добавил новую фичу с частыми вызовами? Ответ почти всегда там.

Почему счёт вырос, хотя запросов столько же?

Потому что подорожали сами запросы. Скорее всего, разросся контекст — длиннее диалоги, больше документов в каждом обращении — или модель стала выдавать более длинные ответы. Токенов на запрос больше, значит и цена выше при том же их числе.

Короткие промпты правда дешевле?

Частично. Экономит и вход (твой промпт + контекст), и выход (ответ модели). Но выигрыш на входе обычно куда крупнее: срезать длинный контекст даёт больше, чем ужимать сам вопрос на пару слов.

Большой счёт за ИИ — почти всегда не «дорогая технология», а утечка в одном из трёх мест. Нашёл своё — и расход возвращается в норму. А собрать приложение, которое считает токены с самого начала, проще в компании того, кто объясняет на «ты».