Что такое галлюцинация ИИ — и почему модель не врёт, когда выдумывает

Было такое? Спросил модель — она уверенно выдала ответ. Точную цифру, имя, ссылку. А потом выяснилось: всё выдумано. Звучало гладко, как правда, — но ложь.

Кажется, что она соврала. Но смотри, тут штука тоньше.

Модель не врёт. Она вообще не знает, что такое правда. И когда понимаешь, как она устроена, такие выдумки перестают сбивать с толку. У этого даже есть название — галлюцинация.

Что это вообще такое

Галлюцинация — это когда модель уверенно выдаёт правдоподобный, но ложный ответ.

Главное слово тут — «уверенно». Она не мямлит «наверное», не ставит знак вопроса. Тон точно такой же, как когда она права. По виду ответа ты не отличишь правду от выдумки — вот в чём подвох.

Это не сбой и не баг. Это естественное поведение. Чтобы понять почему, заглянем внутрь на минуту.

Почему так выходит

Соврать — значит знать правду и сказать иначе. У модели правды нет. Сравнивать ей не с чем.

Внутри она делает одно: предсказывает следующий кусочек текста. Какое слово вероятнее идёт за предыдущими — то и ставит. И так слово за словом.

То есть модель гонится не за правдой, а за правдоподобием. За тем, что звучит складно.

А правдоподобное иногда ≠ правдивое. Выдуманная ссылка выглядит как настоящая. Несуществующая книга названа уверенно. Форма верная — а внутри пусто. И встроенной кнопки «проверь, правда ли это» у модели нет.

Где это особенно опасно

Не везде риск одинаковый. Выдумка чаще лезет там, где нужны точные факты.

• Цифры и даты. Год, цена, статистика — модель легко назовёт правдоподобное число мимо.
• Имена и ссылки. Цитата, автор, URL — выглядят настоящими, а ведут в никуда.
• Узкие темы. Чем реже встречалось в текстах, тем охотнее модель достраивает пробел сама.

А вот пересказать, переписать, накидать идей — тут врать почти негде. Опора в самом твоём тексте, выдумывать факты не нужно.

Что с этим делать

Бояться не надо — надо не верить на слово. Три простые привычки.

• Проси источники. «Откуда это? Дай ссылку.» Не может подтвердить — повод насторожиться.
• Давай примеры и контекст. Вставь нужный кусок текста. Чем меньше модель достраивает, тем меньше выдумывает.
• Проверяй важное. Факт, на котором завязано решение, перепроверь сам. Особенно цифры, имена и ссылки.

Главный сдвиг — простой. Перестань слышать в модели оракула, который «знает». Слышь умного, но иногда фантазирующего помощника. Тон уверенный у него всегда — а верность ты проверяешь сам.