Что такое кэширование промптов — и почему один и тот же контекст можно оплатить один раз

Смотри, обидная штука. Ты собрал ИИ-бота: в каждый запрос кладёшь большой системный промпт, пару документов и историю переписки — тысячи токенов. Пользователь пишет короткий вопрос. И за весь этот здоровенный контекст ты платишь заново на каждое сообщение, хотя он не меняется. Кэширование промптов — способ оплатить неизменную часть один раз, а не каждый раз. Разберёмся, как.
Что такое кэширование промптов простыми словами
Кэширование промптов (prompt caching) — это когда провайдер модели запоминает уже обработанное начало твоего запроса и при следующем таком же запросе не считает его заново, а берёт из памяти. За взятое из кэша он берёт с тебя заметно меньше денег.
Ключевое слово — «начало». Кэшируется не весь запрос, а его префикс: общий кусок, с которого запросы начинаются одинаково. Обычно это системный промпт, инструкции и документы — то, что не меняется от сообщения к сообщению.
Почему ты платишь за один и тот же текст снова и снова
Тут надо понять, как модель считает деньги. Каждый запрос — это весь ввод целиком: системный промпт + документы + история + новый вопрос. Модель обрабатывает его заново от первого токена, и ты платишь за все входные токены каждый раз.
Если неизменный кусок — 5000 токенов, а вопрос пользователя — 20, то эти 5000 ты гоняешь и оплачиваешь снова и снова. На одном сообщении незаметно. На тысяче сообщений — это основная часть счёта.
Как это экономит деньги
Кэш ломает эту логику: неизменный префикс обрабатывается один раз, дальше берётся из памяти по льготной цене. Магнитуды у провайдеров разные, но порядок такой:
- OpenAI включает кэш автоматически для достаточно длинных запросов (примерно от тысячи токенов). Повторно прочитанный из кэша ввод стоит примерно вдвое дешевле обычного — без единой строчки кода с твоей стороны.
- Anthropic (Claude) просит пометить блок явно, зато выгода больше: чтение из кэша — примерно десятая часть обычной цены ввода. Нюанс: первая запись в кэш стоит чуть дороже обычного, так что кэш окупается со второго обращения.
Важное ограничение: кэш живёт недолго — минуты. Он рассчитан на серию запросов подряд (живой диалог, пакетная обработка), а не «на завтра». Если между запросами прошло много времени, префикс «протухает» и считается заново.
Главный трюк: что в начало, что в конец
Раз кэшируется общий префикс, порядок блоков в промпте превращается в деньги. Правило простое:
- Стабильное — в начало. Системный промпт, инструкции, большие документы, база знаний — всё, что одинаково в каждом запросе.
- Меняющееся — в конец. Вопрос пользователя, свежие данные — то, что каждый раз новое.
Тогда у всех запросов общее начало совпадает, кэш срабатывает, и платишь ты в основном за короткий хвост. Перепутаешь порядок (вопрос в начало) — общего префикса нет, кэш не включается, экономия испаряется.
Кэш промптов и обычный кэш — это одно и то же?
Идея одна, реализация разная. Обычный кэш хранит готовый ответ: тот же вопрос — мгновенно отдаём сохранённый результат. Кэш промптов хранит обработанное начало запроса, но ответ всё равно генерируется заново под новый хвост. То есть он ускоряет и удешевляет ввод, а не подменяет вывод. Поэтому он помогает, даже когда вопросы каждый раз разные, а общий контекст один.
Почему мой кэш не срабатывает?
Три частые причины. Первая — меняющийся кусок стоит в начале, и общего префикса нет: перенеси стабильное вверх. Вторая — слишком короткий префикс: у кэша есть минимальный порог (около тысячи токенов), мелочь не кэшируется. Третья — прошло слишком много времени, кэш протух. Если счёт не падает — начни с порядка блоков, чаще всего дело в нём. И помни: кэш экономит на повторяющемся контексте, так что это лишь одна из ручек экономии на запросах, а не единственная.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





