Почему ИИ отвечает медленно — 3 причины и как ускорить

Просишь у ИИ ответ — и ждёшь. Секунду, две, пять, а он всё «думает». Первая мысль — «интернет тупит». Но почти всегда дело не в связи, а в трёх вещах, которые ты можешь поменять сам. Разберём их от самой частой к редкой, с проверкой и фиксом к каждой.

Причина 1. Модель тяжелее, чем нужно задаче (частая)

Большие и «думающие» модели отвечают медленнее — это физика, а не поломка. Чем крупнее модель, тем дольше она считает каждый ответ. А reasoning-модель вдобавок сначала «размышляет» про себя и только потом печатает — это заметная задержка перед первым словом.

Как проверить. Ты гоняешь топовую или reasoning-модель на простой задаче (переписать текст, ответить на короткий вопрос)? Если задержка большая именно перед началом ответа — почти наверняка модель избыточна.

Как починить. Подбери модель под задачу. Для простого — быструю и лёгкую (их часто зовут flash, mini, haiku). Тяжёлую и думающую оставь для сложных рассуждений, где она реально нужна. Правильный выбор модели ускоряет ответ в разы бесплатно.

Причина 2. Нет стриминга — ждёшь ответ целиком

Вот неочевидное. Часто ты ждёшь не потому, что модель медленная, а потому что видишь ответ только когда он готов весь. Без стриминга сервер копит ответ до последнего слова и лишь потом отдаёт — ты сидишь перед пустотой.

Как проверить. Ответ появляется разом, целым куском, после долгой паузы? Значит стриминг выключен.

Как починить. Включи стриминг (в API это флаг stream: true). Токены пойдут словами сразу, как в ChatGPT. Сам ответ быстрее не станет, но ожидание исчезает: ты читаешь начало, пока печатается конец. Это про воспринимаемую задержку — и она часто важнее реальной.

Причина 3. Раздутый контекст на каждый запрос

Прежде чем ответить, модель обязана прочитать весь твой запрос. Тащишь в каждый вызов всю историю переписки или огромный документ — модель сначала переваривает эту гору, и только потом начинает отвечать. Отсюда задержка перед первым словом.

Как проверить. Тормозить стало «под конец» долгого диалога или когда ты вкладываешь большой текст? Чем больше на входе — тем дольше раскачка.

Как починить. Не суй в каждый запрос лишнее. Оставляй только нужную часть истории, длинный документ сжимай или подавай кусками. Приём, когда модель получает не весь текст, а только найденный релевантный кусок, — это RAG; он и ускоряет, и удешевляет.

Быстрый разбор: с чего начать

• Долгая пауза перед ответом на простой задаче → модель избыточна (причина 1). Возьми быструю.
• Ответ валится целым куском после тишины → нет стриминга (причина 2). Включи stream.
• Тормоза растут с длиной переписки или размером вложенного текста → раздут контекст (причина 3). Почисти вход.

Помогает ли кэширование?

Да, если запросы повторяются. Если ты снова и снова шлёшь один и тот же большой кусок (например, одну инструкцию в начале каждого запроса), его можно закэшировать, и модель не будет перечитывать его каждый раз — ответ пойдёт быстрее и дешевле. Подробнее — в разборе как кэшировать ответы ИИ.

Reasoning-модель всегда медленная?

Не всегда, но обычно медленнее обычной на том же вопросе — она тратит время на «размышление» перед ответом. Это честная плата за качество на сложных задачах. Мораль простая: не бери думающую модель туда, где хватит быстрой, — переплатишь и временем, и деньгами.