Что такое стриминг ответа ИИ — почему текст печатается по словам

Замечал, что ChatGPT будто печатает ответ вживую — слово за словом, а не выкладывает всё разом? Вот неожиданная штука: это не анимация «для красоты». Модель правда не знает конца фразы, когда начинает её. Она придумывает следующий кусочек прямо сейчас и сразу показывает его тебе. Это и называется стриминг — и через пару минут ты будешь понимать, что происходит под капотом.

Модель думает по одному токену

Ответ строится не целиком, а маленькими кусочками — токенами. Токен — это часть слова, иногда целое слово, иногда пара символов.

Механизм простой и немного пугающий своей прямотой:

1. Модель смотрит на всё, что уже есть (твой вопрос + то, что она уже написала).
2. Предсказывает один следующий токен.
3. Приклеивает его и повторяет с шага 1.

И так сотни раз, пока не решит, что ответ закончен. Каждый предсказанный токен можно либо копить и отдать всё разом в конце, либо отдавать сразу, как только он готов. Второе — это и есть стриминг.

Зачем отдавать по кусочкам

• Ты начинаешь читать сразу. Первые слова прилетают через полсекунды, а не после десяти секунд ожидания всего ответа. У этого даже есть название — «время до первого токена».
• Ощущение живого собеседника. Текст, который появляется постепенно, читается как разговор, а не как выгруженный файл.
• Можно оборвать. Увидел, что модель ушла не туда, — жмёшь «стоп», не досматривая до конца. Не тратишь ни своё время, ни лишние токены.

Что это значит для тебя

Держи несколько выводов, которые сразу пригодятся:

• Генерация ответа — это инференс, и он идёт ровно с той скоростью, с какой ты видишь слова. «Промотать до конца» нельзя — конца ещё физически нет.
• Если оборвал ответ на середине, ты всё равно заплатил за уже сгенерированные токены. Стоп экономит время, но не отменяет то, что уже придумано.
• У reasoning-модели перед стримингом ответа идёт этап «думания» — иногда скрытый. Поэтому пауза перед первым словом бывает дольше: модель сначала соображает про себя, а потом уже печатает.
• В своём приложении стриминг — это чаще всего один флаг в запросе (stream: true). Он превращает «приложение зависло на 8 секунд» в «приложение отвечает вживую».

Как только держишь в голове образ «модель рождает текст по кусочку», странность «почему оно печатает, а не показывает сразу» исчезает. Оно печатает, потому что в этот момент по-настоящему думает.

Почему ответ иногда обрывается на середине?

Чаще всего — разрыв соединения или модель уперлась в лимит длины. Стрим просто прекращается; то, что успело прийти, остаётся на экране. Обычно достаточно повторить запрос.

Стриминг делает ответ быстрее?

Нет. Общее время генерации то же самое. Но ты начинаешь читать с первых слов, поэтому субъективно кажется намного быстрее.

Можно ли отключить стриминг?

Да. В API это флаг, который можно выключить — тогда получишь весь ответ разом. Удобно, когда тебе нужен целый готовый текст (например, чтобы распарсить JSON), а не живая печать.