Почему модели «галлюцинируют» меньше, когда им дают примеры
«Галлюцинация» — это вежливое слово для момента, когда модель уверенно несёт чушь. Свежая работа копает то, что практики и так чуяли нутром: дай модели пару примеров — и выдуманные ответы резко идут вниз.
И объяснение тут совсем не загадочное. Зато оно меняет то, как тебе стоит писать промпты.
Если коротко
Смотри. Без примеров модель угадывает сразу две вещи: что ты хочешь и как это должно выглядеть. Две догадки. А каждый твой пример превращает одну из них в факт.
- Сужает формат. Модель копирует форму твоего примера вместо того, чтобы выдумывать свою.
- Заземляет факты. Конкретные образцы тянут ответ к твоей области и прочь от общих слов.
- Задаёт планку. Аккуратный пример сообщает модели, что «примерно верно» — недостаточно.
Примеры не делают модель умнее. Они делают мишень меньше — а в меньшую мишень труднее промахнуться.
Что с этим делать
И тебе для этого не нужен бюджет на исследования. В следующий раз, когда агент выдаст размытый или выдуманный ответ, не спорь с ним. Просто покажи один хороший пример того, что ты хотел. Чаще всего вторая попытка уже в цель. Это самый дешёвый способ поднять точность, какой у тебя есть.
