Что такое трансформер — буква «T» в слове GPT, и почему он не понимает, а угадывает

Смотри, маленькое открытие: буква «T» в слове GPT — это Transformer, «трансформер». И нет, он не про роботов из мультика. Это инженерная идея, которую придумали в Google в 2017 году. На ней сегодня держится почти каждая большая нейросеть — ChatGPT, Claude, Gemini, внутри все они трансформеры.

И вот что неожиданно: трансформер не читает твой текст слева направо, как ты сейчас читаешь эту строчку. Он смотрит на все слова разом. Через пару минут поймёшь, почему это меняет всё.

Что это вообще такое

Трансформер — это архитектура нейросети. «Архитектура» тут значит просто чертёж: как устроены слои, через которые проходит твой запрос, чтобы на выходе получился ответ.

До трансформера модели читали текст по одному слову, по порядку, и к концу длинного предложения «забывали» начало. Трансформер убрал это ограничение. Он берёт весь кусок текста сразу и решает, какие слова в нём связаны между собой.

Это та же нейросеть, просто собранная по очень удачному чертежу. Настолько удачному, что остальные варианты он почти вытеснил.

Как он работает — «внимание» вместо чтения по порядку

Главная деталь трансформера называется «внимание» (attention). Звучит сложно, а идея простая.

Возьми фразу: «Кот не залез на стол, потому что он был слишком высокий». Кто «он» — кот или стол? Ты понимаешь по смыслу: высокий — это про стол. Трансформеру тоже надо это понять. Механизм внимания позволяет слову «он» как бы оглянуться на все остальные слова и подсветить те, что важнее. В этой фразе он подсветит «стол».

И так — для каждого слова сразу, параллельно. Не по очереди, а всё вместе. Поэтому трансформеры так хорошо ловят связи в длинном тексте, и поэтому их можно обучать быстро на мощном железе.

Но держи в голове вторую неожиданную штуку. Трансформер не «понимает» текст так, как ты. Он делает ровно одно: предсказывает следующий токен — кусочек слова. Снова и снова. «После таких слов чаще всего идёт вот это». Весь умный ответ — это длинная цепочка очень хороших догадок.

Почему это важно тебе

Когда держишь в голове «он угадывает следующее слово, а не знает правду», многое в работе с ИИ становится понятным.

Почему модель иногда уверенно врёт? Потому что правдоподобное продолжение и правдивое — это не одно и то же. Отсюда галлюцинации. Почему хороший контекст в запросе так важен? Потому что модель смотрит на все твои слова разом и взвешивает их — чем чётче ты задал условия, тем точнее догадка.

Вывод, который останется с тобой: трансформер — это не оракул и не база знаний. Это очень мощная машина для угадывания продолжения. Относись к ответу как к черновику умного помощника, а не как к выписке из энциклопедии.

Где ты с ним встречаешься

Каждый раз, когда печатаешь запрос в чат-бот. Когда редактор кода дописывает за тебя строчку. Когда переводчик переводит абзац целиком, а не по слову. Внутри почти везде — трансформер.

Даже названия моделей намекают: GPT — это Generative Pre-trained Transformer. Теперь ты знаешь, что зашито в третьей букве.

Трансформер и нейросеть — это одно и то же?

Почти. Трансформер — это конкретный, самый удачный вид нейросети. Любой трансформер — нейросеть, но не любая нейросеть — трансформер: есть и другие чертежи, просто они проиграли в гонке.

Надо ли мне понимать математику внутри?

Нет. Чтобы собирать приложения с ИИ, тебе хватит модели «он угадывает следующий кусочек, глядя на всё сразу». Математику внутри знают те, кто строит сами модели, — тебе это не нужно.