Что такое контекстное окно — и почему ИИ забывает начало разговора

У любой модели есть предел: сколько текста она удержит «в голове» за один раз. Этот предел и есть контекстное окно. Разберёшься с одной этой идеей — и половина странностей ИИ перестанет тебя удивлять. Например, почему он забывает, о чём ты договорился в начале.

Окно — это рабочий стол модели

Представь стол, на который влезает ограниченное число листов. Всё, что лежит на столе, модель видит сразу: твой вопрос, историю переписки, приложенные файлы, свой будущий ответ. Что не поместилось — модель не видит вовсе.

Размер окна меряют в токенах (про них — отдельный разбор). У одних моделей это тысячи токенов, у других — миллионы. Но предел есть всегда.

Почему модель «забывает»

Разговор стал длиннее окна — и самый старый лист «спадает со стола», чтобы освободить место новому. Модель его уже не помнит: для неё его больше нет. Поэтому в долгом чате ИИ теряет нить — начало просто вытеснено.

Модель не «ленится» и не «вредничает». Она просто не видит того, что не поместилось в окно.

Как этим пользоваться

• Главное — в начало или в конец. Не прячь важные инструкции в середину длинной простыни текста.
• Не вываливай лишнее. Чем меньше мусора в окне, тем точнее ответ — и тем дешевле (см. токены).
• Новая задача — новый чат. Так старый контекст не мешает и не путает модель.

Как только держишь в голове образ стола с листами, многие «странности» ИИ становятся предсказуемыми — и управляемыми.