Что такое синтетические данные — и почему ИИ учат на выдумках

Есть привычная картинка: модели учат на текстах из интернета. Всё человечество написало — модель прочитала.
Так вот, это уже наполовину неправда. Заметная часть того, на чём учат современные модели, написана другой моделью. И тут неожиданный поворот: дело не в том, что интернет кончился. Придуманные данные часто оказываются просто лучше настоящих.
Что это такое
Синтетические данные — это примеры, которых не было в реальности. Их сгенерировала программа или другая модель специально для обучения.
Обычный датасет собирают: скачивают, чистят, размечают руками. Синтетический — производят. Нужен миллион диалогов «клиент жалуется на доставку»? Не ищешь их по саппорт-переписке, а просишь сильную модель написать миллион таких диалогов сразу с разметкой.
Самый известный пример подхода — модели семейства Phi от Microsoft. Их учили не на всём подряд, а на сгенерированных «учебниках»: короткие чистые объяснения с примерами. Результат оказался неприлично хорош для их размера — маленькие модели обходили тех, кто был крупнее, но кормился сырым интернетом.
Почему выдумка бывает лучше правды
Три причины, и ни одна из них не «так дешевле».
Реальных данных на нужную задачу просто нет. Хочешь научить модель распознавать редкую поломку на снимке — у тебя двадцать фотографий за три года. Сгенерировать ещё двадцать тысяч вариантов той же поломки под разным светом и углом реально, а найти — нет.
Настоящие данные нельзя брать. Медицинские карты, переписки, платежи. Синтетический набор повторяет структуру и статистику настоящего, но не принадлежит ни одному живому человеку — и юридически это совсем другая история.
Настоящие данные грязные. Интернет — это опечатки, реклама, споры и просто чушь. А сгенерированный пример приходит сразу с ответом, разметкой и нужным уровнем сложности. Модель учится на отличниках, а не на всём подряд.
Отдельно стоит дистилляция — там сильная модель генерирует ответы, а маленькая учится их повторять. Это тоже синтетические данные, просто с конкретной целью: перелить умение в модель поменьше.
Где всё ломается: копия с копии
Теперь про предел, о котором стоит знать, даже если ты никого не обучаешь.
Если модель учить на её собственных выдумках, потом на выдумках следующего поколения — и так по кругу, качество разваливается. У эффекта есть имя: model collapse, коллапс модели. Исследование на эту тему вышло в Nature в 2024-м, и картина там наглядная: с каждым поколением модель всё увереннее говорит про середину распределения и всё быстрее забывает края.
Механика простая. Любая генерация чуть-чуть сглаживает: редкое встречается реже, странное отсекается. Один раз — незаметно. Пять раз подряд — и редкие явления исчезают вовсе. Мир для модели становится усреднённым и скучным.
Отсюда правило, которым пользуются все, кто работает всерьёз: синтетика — это добавка, а якорь всегда реальный. Сгенерированные данные разбавляют настоящими и проверяют результат на живых примерах, а не на таких же придуманных.
Где это пригодится лично тебе
Не жди своей модели — синтетические данные полезны сразу, как только ты что-то собираешь.
Наполнить прототип. Пустой интерфейс врёт: он выглядит аккуратно, потому что в нём ничего нет. Попроси модель сгенерировать 50 записей — и сразу увидишь, что длинное имя ломает вёрстку.
Придумать краевые случаи. Это самое ценное. Свои тесты ты пишешь под то, что уже представил, — а ошибки живут в том, что не представил.
Сгенерируй 30 примеров ввода для формы регистрации. Треть — нормальные, треть — странные, но допустимые (двойные фамилии, апострофы, кириллица в почте), треть — злые: эмодзи, пробелы по краям, очень длинные строки, пустые поля. Дай таблицей: ввод → что должно произойти.
Собрать набор для проверки. Прежде чем менять промпт, нужен список задач с ожидаемыми ответами — иначе «стало лучше» превращается в ощущение. Сгенерированный набор для такой проверки качества — нормальный старт, если потом просмотреть его глазами.
Показать проект, не показывая людей. Скриншот для презентации, демо для заказчика, публичный репозиторий — везде нужны правдоподобные данные, и везде опасно взять настоящие. Сгенерированный набор с той же структурой закрывает вопрос: имена, суммы и переписка выглядят живыми, но не принадлежат никому.
И в каждом случае держи в голове ту же оговорку, что и большие лаборатории: сгенерированные примеры смещены в сторону «типичного». Модель охотно придумает десять обычных заказов и почти никогда — заказ на ноль рублей, оформленный в три часа ночи с пустым адресом. Поэтому пару настоящих примеров рядом положить обязательно: именно они ловят то, до чего генерация не додумалась.
Синтетические данные — это фейк?
Нет. Фейк выдаёт себя за реальность, а синтетические данные честно заявлены как сгенерированные. Проблема начинается там, где их выдают за настоящие: тогда любая статистика по ним рассказывает не про мир, а про модель, которая их придумала.
На них можно дообучить свою модель?
Можно, и так делают постоянно — особенно для узких задач вроде «отвечай в нашем формате». Только следи за источником: если примеры генерирует та же модель, которую ты обучаешь, ты закрепляешь её собственные привычки, включая ошибки. Генерировать должна модель сильнее, а проверять — человек.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





