Что такое токены в секунду — и почему по-русски модель кажется медленнее

Странная штука: одна и та же модель, один и тот же компьютер, а по-русски ответ печатается заметно медленнее, чем по-английски. Скорость в токенах в секунду при этом одинаковая.
Никакой мистики. Просто эта цифра считает не то, что ты думаешь.
Что такое токены в секунду
Токены в секунду (t/s, tokens per second) — сколько кусочков текста модель успевает выдать за одну секунду.
Модель не печатает слова целиком. Она выдаёт токены — куски слов, один за другим, слева направо. Каждый следующий токен она выбирает, посмотрев на все предыдущие. Отсюда и эффект «печатающей машинки» в чате: ты видишь ответ ровно в том темпе, в котором он рождается.
t/s — это и есть темп этой машинки. 30 t/s значит, что за секунду наружу вылетает тридцать кусочков.
Для ориентира: человек комфортно читает примерно 3–4 слова в секунду. В английском одно слово — это чуть больше одного токена, так что уже 10–15 t/s читаются «как живой текст», а 40 t/s ты не догоняешь глазами.
Два числа, а не одно
Вот первая ловушка. Скорость генерации — только половина ощущения. Вторая половина — время до первого токена (time to first token, TTFT): сколько секунд ты смотришь в пустоту, прежде чем побежала первая буква.
Эти два числа живут отдельно:
- Большой TTFT, высокий t/s — «задумался, а потом выпалил». Так ведут себя reasoning-модели и любой запрос с огромным контекстом: модель сначала прочитывает всё, что ты ей дал.
- Маленький TTFT, низкий t/s — «отвечает сразу, но тянет». Так обычно ощущается перегруженный сервер или слабое железо.
По ощущению второй вариант почти всегда приятнее: мозг спокойно ждёт медленный текст, но плохо переносит пустой экран. Поэтому задержка в интерфейсе важнее сырой пропускной способности — и поэтому чаты почти всегда включают потоковую выдачу.
Почему по-русски та же скорость ощущается медленнее
А теперь — та самая аномалия из начала.
t/s считает токены, а не смысл. А сколько токенов уйдёт на одну и ту же мысль, решает токенизатор — и решает он в пользу английского. Английские слова у популярных моделей часто укладываются в один токен целиком. Русские слова обычно распадаются на два-три-четыре куска: кириллица встречалась в обучающих текстах реже.
Итог: одно и то же предложение по-русски — это в среднем в 1,5–2 раза больше токенов. При тех же 30 t/s ты получаешь ту же мысль примерно вдвое дольше. Модель не «тупит на русском» — ей просто нужно выпустить больше кусочков, чтобы сказать то же самое.
Побочный вывод, полезный для кошелька: по той же причине русский текст обычно и стоит дороже — счета выставляют за токены.
Сколько t/s тебе нужно
Грубые ориентиры, чтобы понимать, куда ты попал:
- меньше 5 t/s — читать невозможно, годится только для фоновых задач: перевести пачку файлов ночью, разметить данные.
- 10–20 t/s — комфортный чат. Примерно скорость чтения, ответ появляется «на глазах».
- 40+ t/s — быстрее, чем ты читаешь. Дальше разница чувствуется только на длинных ответах и в агентах, где модель гоняет десятки шагов подряд.
Облачные API обычно живут в верхней части этого диапазона. Модель на своём ноутбуке — где-то в середине: 7–8-миллиардная модель на современном ноуте с хорошей памятью выдаёт десятки t/s, а на старом железе без ускорителя падает до единиц.
И главное: t/s зависит не только от модели, но и от того, как её сжали. Сильнее квантизация — меньше данных гонять по памяти — выше скорость.
Как измерить свою скорость за минуту
Проще всего — попросить об этом сам инструмент. Если ты запускаешь модели локально через Ollama, добавь флаг:
ollama run llama3.2 --verbose
После каждого ответа он напечатает статистику, в том числе eval rate — те самые токены в секунду на генерации, и отдельно скорость обработки твоего запроса.
Без инструментов работает и совсем грубая прикидка: засеки секундомером ответ на 10 секунд, посчитай примерное число слов, умножь на 1,3 для английского и на 2 для русского. Точности тут не нужно — тебе важен порядок: единицы, десятки или сотни.
Сколько токенов в секунду — это нормально?
Для чата комфортно от 10–15 t/s: примерно так ты читаешь. Ниже 5 t/s текст мучительно ползёт, выше 40 t/s разница почти не заметна на глаз.
Почему модель отвечает быстро, а начинает медленно?
Это разные показатели: время до первого токена зависит от длины твоего запроса и очереди на сервере, а t/s — от железа и размера модели. Огромный контекст раздувает именно первую часть.
Как ускорить локальную модель?
Возьми модель поменьше или посильнее сжатую, сократи контекст (модель перечитывает его на каждом запросе) и убедись, что она целиком помещается в видеопамять — как только часть слоёв уезжает в обычную RAM, скорость падает в разы.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





