Что такое токенизатор — почему модель не видит буквы, а русский стоит дороже

Кажется, что языковая модель читает твой текст как ты — буквами, словами. На самом деле нет: модель букв вообще не видит. Между тобой и моделью стоит отдельная деталь — токенизатор. Он режет текст на кусочки ещё до модели. И вот неожиданное следствие: из-за того, как он режет, одна и та же фраза по-русски стоит дороже, чем по-английски. Разберёмся почему.

Что такое токенизатор простыми словами

Токенизатор — программа, которая режет твой текст на кусочки (токены) перед тем, как модель его увидит. Модель работает не с буквами и не со словами, а с этими кусочками и их номерами. Токенизатор — переводчик из «человеческого текста» в «номерки, которые понимает модель», и обратно.

Аналогия: штрих-код на кассе. Кассир (модель) не читает название товара — он видит код. Токенизатор — сканер, который превращает твою фразу в череду кодов.

Как он режет — не по словам и не по буквам

Неожиданное: кусочки — это не слова. Токенизатор нарезает по статистике: частые куски (целые слова, окончания, пробелы) — один токен; редкие — разбиваются на части. Слово «token» — один токен, а «tokenization» может стать «token» + «ization». Приём называется BPE — склеивание часто встречающихся пар символов в один кусок.

Поэтому один токен — это в среднем не буква и не слово, а кусок: где-то целое слово, где-то пара букв. Пробелы и знаки тоже считаются за токены.

Почему русский стоит дороже английского

Вот главное, и это про деньги. Словари токенизаторов собирали в основном на английском — частым английским словам достались «жирные» одиночные токены. Кириллице таких почти не досталось: русские слова чаще рубятся на мелкие куски, вплоть до отдельных символов.

Итог: одна и та же мысль по-русски выходит в 2–3 раза больше токенов, чем по-английски. А платишь ты и считаешь лимит контекстного окна именно в токенах. То есть русский текст съедает больше денег и больше места в памяти модели за ту же мысль. Это же объясняет, почему токен — та единица, в которой меряют всё: и цену, и длину запроса.

Почему тебе это важно знать

Три практических следствия:

• Счёт идёт в токенах, не в символах. Прикидывая цену запроса к модели, считай кусочки, а не буквы — особенно на русском.
• Лимит окна — тоже в токенах. Длинный русский документ займёт больше места, чем кажется по числу слов.
• Странные обрезки и опечатки модели иногда идут от того, что слово разрезалось не там. Понимая токенизатор, ты перестаёшь этому удивляться.

Токенизатор и эмбеддинги — это одно и то же?

Нет, это два разных шага. Токенизатор делит текст на кусочки и даёт каждому номер. Эмбеддинги — следующий этап: каждый номер превращается в набор чисел, отражающих смысл кусочка. Сначала режем (токенизатор), потом осмысляем (эмбеддинги).

Можно ли посмотреть, как режется мой текст?

Да. У многих моделей есть онлайн-«токенайзеры»: вставляешь фразу — видишь, на сколько кусочков она распалась. Полезно один раз прогнать русский и английский варианты одной мысли и своими глазами увидеть разницу в счёте. После этого «почему русский дороже» перестаёт быть абстракцией.

Токенизатор у всех моделей одинаковый?

Нет, у разных моделей — разные токенизаторы и разные словари. Поэтому один и тот же текст у двух моделей может распасться на чуть разное число токенов. Общий принцип один (частое — крупными кусками, редкое — мелкими), но конкретные границы и цена в токенах у каждой модели свои.