Промпт-инжиниринг

Что такое кэширование промптов — и почему один и тот же контекст можно оплатить один раз

Иллюстрация: большой неизменный блок контекста уходит в память один раз, к нему подставляется короткий свежий вопрос

Смотри, обидная штука. Ты собрал ИИ-бота: в каждый запрос кладёшь большой системный промпт, пару документов и историю переписки — тысячи токенов. Пользователь пишет короткий вопрос. И за весь этот здоровенный контекст ты платишь заново на каждое сообщение, хотя он не меняется. Кэширование промптов — способ оплатить неизменную часть один раз, а не каждый раз. Разберёмся, как.

Что такое кэширование промптов простыми словами

Кэширование промптов (prompt caching) — это когда провайдер модели запоминает уже обработанное начало твоего запроса и при следующем таком же запросе не считает его заново, а берёт из памяти. За взятое из кэша он берёт с тебя заметно меньше денег.

Ключевое слово — «начало». Кэшируется не весь запрос, а его префикс: общий кусок, с которого запросы начинаются одинаково. Обычно это системный промпт, инструкции и документы — то, что не меняется от сообщения к сообщению.

Почему ты платишь за один и тот же текст снова и снова

Тут надо понять, как модель считает деньги. Каждый запрос — это весь ввод целиком: системный промпт + документы + история + новый вопрос. Модель обрабатывает его заново от первого токена, и ты платишь за все входные токены каждый раз.

Если неизменный кусок — 5000 токенов, а вопрос пользователя — 20, то эти 5000 ты гоняешь и оплачиваешь снова и снова. На одном сообщении незаметно. На тысяче сообщений — это основная часть счёта.

Как это экономит деньги

Кэш ломает эту логику: неизменный префикс обрабатывается один раз, дальше берётся из памяти по льготной цене. Магнитуды у провайдеров разные, но порядок такой:

  • OpenAI включает кэш автоматически для достаточно длинных запросов (примерно от тысячи токенов). Повторно прочитанный из кэша ввод стоит примерно вдвое дешевле обычного — без единой строчки кода с твоей стороны.
  • Anthropic (Claude) просит пометить блок явно, зато выгода больше: чтение из кэша — примерно десятая часть обычной цены ввода. Нюанс: первая запись в кэш стоит чуть дороже обычного, так что кэш окупается со второго обращения.

Важное ограничение: кэш живёт недолго — минуты. Он рассчитан на серию запросов подряд (живой диалог, пакетная обработка), а не «на завтра». Если между запросами прошло много времени, префикс «протухает» и считается заново.

Главный трюк: что в начало, что в конец

Раз кэшируется общий префикс, порядок блоков в промпте превращается в деньги. Правило простое:

  • Стабильное — в начало. Системный промпт, инструкции, большие документы, база знаний — всё, что одинаково в каждом запросе.
  • Меняющееся — в конец. Вопрос пользователя, свежие данные — то, что каждый раз новое.

Тогда у всех запросов общее начало совпадает, кэш срабатывает, и платишь ты в основном за короткий хвост. Перепутаешь порядок (вопрос в начало) — общего префикса нет, кэш не включается, экономия испаряется.

Кэш промптов и обычный кэш — это одно и то же?

Идея одна, реализация разная. Обычный кэш хранит готовый ответ: тот же вопрос — мгновенно отдаём сохранённый результат. Кэш промптов хранит обработанное начало запроса, но ответ всё равно генерируется заново под новый хвост. То есть он ускоряет и удешевляет ввод, а не подменяет вывод. Поэтому он помогает, даже когда вопросы каждый раз разные, а общий контекст один.

Почему мой кэш не срабатывает?

Три частые причины. Первая — меняющийся кусок стоит в начале, и общего префикса нет: перенеси стабильное вверх. Вторая — слишком короткий префикс: у кэша есть минимальный порог (около тысячи токенов), мелочь не кэшируется. Третья — прошло слишком много времени, кэш протух. Если счёт не падает — начни с порядка блоков, чаще всего дело в нём. И помни: кэш экономит на повторяющемся контексте, так что это лишь одна из ручек экономии на запросах, а не единственная.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →