Что такое…

Что такое токены в секунду — и почему по-русски модель кажется медленнее

Иллюстрация: поток кусочков текста, который льётся из модели с постоянной скоростью

Странная штука: одна и та же модель, один и тот же компьютер, а по-русски ответ печатается заметно медленнее, чем по-английски. Скорость в токенах в секунду при этом одинаковая.

Никакой мистики. Просто эта цифра считает не то, что ты думаешь.

Что такое токены в секунду

Токены в секунду (t/s, tokens per second) — сколько кусочков текста модель успевает выдать за одну секунду.

Модель не печатает слова целиком. Она выдаёт токены — куски слов, один за другим, слева направо. Каждый следующий токен она выбирает, посмотрев на все предыдущие. Отсюда и эффект «печатающей машинки» в чате: ты видишь ответ ровно в том темпе, в котором он рождается.

t/s — это и есть темп этой машинки. 30 t/s значит, что за секунду наружу вылетает тридцать кусочков.

Для ориентира: человек комфортно читает примерно 3–4 слова в секунду. В английском одно слово — это чуть больше одного токена, так что уже 10–15 t/s читаются «как живой текст», а 40 t/s ты не догоняешь глазами.

Два числа, а не одно

Вот первая ловушка. Скорость генерации — только половина ощущения. Вторая половина — время до первого токена (time to first token, TTFT): сколько секунд ты смотришь в пустоту, прежде чем побежала первая буква.

Эти два числа живут отдельно:

  • Большой TTFT, высокий t/s — «задумался, а потом выпалил». Так ведут себя reasoning-модели и любой запрос с огромным контекстом: модель сначала прочитывает всё, что ты ей дал.
  • Маленький TTFT, низкий t/s — «отвечает сразу, но тянет». Так обычно ощущается перегруженный сервер или слабое железо.

По ощущению второй вариант почти всегда приятнее: мозг спокойно ждёт медленный текст, но плохо переносит пустой экран. Поэтому задержка в интерфейсе важнее сырой пропускной способности — и поэтому чаты почти всегда включают потоковую выдачу.

Почему по-русски та же скорость ощущается медленнее

А теперь — та самая аномалия из начала.

t/s считает токены, а не смысл. А сколько токенов уйдёт на одну и ту же мысль, решает токенизатор — и решает он в пользу английского. Английские слова у популярных моделей часто укладываются в один токен целиком. Русские слова обычно распадаются на два-три-четыре куска: кириллица встречалась в обучающих текстах реже.

Итог: одно и то же предложение по-русски — это в среднем в 1,5–2 раза больше токенов. При тех же 30 t/s ты получаешь ту же мысль примерно вдвое дольше. Модель не «тупит на русском» — ей просто нужно выпустить больше кусочков, чтобы сказать то же самое.

Побочный вывод, полезный для кошелька: по той же причине русский текст обычно и стоит дороже — счета выставляют за токены.

Сколько t/s тебе нужно

Грубые ориентиры, чтобы понимать, куда ты попал:

  • меньше 5 t/s — читать невозможно, годится только для фоновых задач: перевести пачку файлов ночью, разметить данные.
  • 10–20 t/s — комфортный чат. Примерно скорость чтения, ответ появляется «на глазах».
  • 40+ t/s — быстрее, чем ты читаешь. Дальше разница чувствуется только на длинных ответах и в агентах, где модель гоняет десятки шагов подряд.

Облачные API обычно живут в верхней части этого диапазона. Модель на своём ноутбуке — где-то в середине: 7–8-миллиардная модель на современном ноуте с хорошей памятью выдаёт десятки t/s, а на старом железе без ускорителя падает до единиц.

И главное: t/s зависит не только от модели, но и от того, как её сжали. Сильнее квантизация — меньше данных гонять по памяти — выше скорость.

Как измерить свою скорость за минуту

Проще всего — попросить об этом сам инструмент. Если ты запускаешь модели локально через Ollama, добавь флаг:

ollama run llama3.2 --verbose

После каждого ответа он напечатает статистику, в том числе eval rate — те самые токены в секунду на генерации, и отдельно скорость обработки твоего запроса.

Без инструментов работает и совсем грубая прикидка: засеки секундомером ответ на 10 секунд, посчитай примерное число слов, умножь на 1,3 для английского и на 2 для русского. Точности тут не нужно — тебе важен порядок: единицы, десятки или сотни.

Сколько токенов в секунду — это нормально?

Для чата комфортно от 10–15 t/s: примерно так ты читаешь. Ниже 5 t/s текст мучительно ползёт, выше 40 t/s разница почти не заметна на глаз.

Почему модель отвечает быстро, а начинает медленно?

Это разные показатели: время до первого токена зависит от длины твоего запроса и очереди на сервере, а t/s — от железа и размера модели. Огромный контекст раздувает именно первую часть.

Как ускорить локальную модель?

Возьми модель поменьше или посильнее сжатую, сократи контекст (модель перечитывает его на каждом запросе) и убедись, что она целиком помещается в видеопамять — как только часть слоёв уезжает в обычную RAM, скорость падает в разы.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →