Что такое задержка (latency) — почему ИИ «тормозит», хотя модель быстрая

Смотри, неожиданная штука: когда ИИ «тормозит», дело почти никогда не в том, что модель слабая или «загружена». Дело в том, сколько ты ждёшь первое слово ответа. И именно поэтому большая, «медленная» модель на глаз может ощущаться быстрее маленькой. Разберём, что такое задержка и где реально теряются твои секунды.

Что такое задержка простыми словами

Задержка (по-английски latency) — это пауза между «я нажал отправить» и «пошёл ответ». Не скорость печати, не мощность сервера — именно ожидание.

Аналогия: официант в кафе. Задержка — это не как быстро он несёт тарелки, а сколько ты сидишь с пустым столом, пока он вообще к тебе подойдёт. Даже если потом всё принесут за минуту, эти первые пустые минуты и есть то, что бесит.

С ИИ ровно так же. Ты отправил запрос — и смотришь на моргающий курсор. Вот эта тишина и есть задержка.

Две задержки, а не одна

Тут главный секрет, из-за которого всё путается. У ответа ИИ есть две разные задержки, и их вечно смешивают в одно «медленно».

• Время до первого слова (по-английски time to first token). Ты отправил запрос — и ждёшь, пока модель «подумает» и выдаст самую первую буковку. Это та самая тишина с курсором.
• Скорость выдачи — как быстро дальше бегут слова, когда ответ уже пошёл.

Разница огромная. Модель может начать отвечать через полсекунды и потом спокойно печатать — ощущается моментально. А может молчать пять секунд, а потом выплюнуть всё разом — и это бесит, хотя суммарно вышло столько же.

Почему модель вообще молчит в начале? Пока она читает твой запрос и готовит ответ — это часть работы, которую зовут инференс, то есть «прогон» твоего текста через модель. Чем длиннее запрос и чем больше модель, тем дольше эта пауза.

Почему стриминг «ускоряет» ответ, ничего не ускоряя

А теперь фокус. Есть приём, который делает ответ «быстрее», не ускоряя модель ни на грамм. Он называется стриминг — это когда слова показывают по мере готовности, а не ждут весь ответ целиком.

Сравни два кафе. В первом официант ждёт, пока приготовят все блюда, и выносит их одной большой тарелкой — ты сидишь голодный. Во втором несёт по одному, как готово, — и ты уже ешь. Еды столько же, готовят столько же. Но второе ощущается быстрее.

Стриминг — это второй официант. Модель думает ровно столько же, но ты видишь, что «пошло», уже на первом слове. Тишина исчезает — и вместе с ней раздражение. Поэтому почти все чаты с ИИ печатают ответ на глазах: не для красоты, а чтобы убить ощущение задержки.

Что влияет на задержку (и что ты можешь сделать)

Если собираешь своё приложение на ИИ, задержкой можно управлять. Вот главные рычаги:

• Размер запроса. Чем длиннее промпт, тем дольше модель его читает перед ответом. Не суй в запрос всю переписку, если хватит трёх строк.
• Размер модели. Большая «умная» модель думает дольше маленькой. Для простых задач бери модель полегче — ответит заметно быстрее.
• Длина ответа. Просишь роман — ждёшь роман. Ограничивай ответ, если нужна короткая выжимка.
• Стриминг. Включи его, и пользователь перестанет смотреть в пустоту. Это самый дешёвый способ «ускорить» приложение.

Приятный бонус: короче запрос и меньше модель — это ещё и дешевле. Про это есть отдельный разбор, как сэкономить на запросах к ИИ — задержка и цена тянут в одну сторону.

Задержка — это то же самое, что скорость интернета?

Нет, хотя связано. Часть задержки — это путь запроса до сервера и обратно (тут интернет важен). Но основная пауза у ИИ — это «раздумье» модели, а не дорога. Даже на быстром интернете большая модель будет думать секунду-другую. Интернет чинит только кусочек проблемы.

Почему один и тот же запрос иногда отвечает быстрее, иногда медленнее?

Серверы модели загружены неравномерно. В час пик к ним стоит очередь — и твоё «время до первого слова» растёт, хотя запрос тот же. Это нормально: ты делишь железо с тысячами других. Если задержка критична для приложения, это ещё один довод в пользу модели полегче — у неё и очередь короче, и думает она быстрее.