Что такое…

Что такое синтетические данные — и почему ИИ учат на выдумках

Иллюстрация: копировальный аппарат выдаёт копии копий, всё бледнее, рядом лежит один яркий оригинал

Есть привычная картинка: модели учат на текстах из интернета. Всё человечество написало — модель прочитала.

Так вот, это уже наполовину неправда. Заметная часть того, на чём учат современные модели, написана другой моделью. И тут неожиданный поворот: дело не в том, что интернет кончился. Придуманные данные часто оказываются просто лучше настоящих.

Что это такое

Синтетические данные — это примеры, которых не было в реальности. Их сгенерировала программа или другая модель специально для обучения.

Обычный датасет собирают: скачивают, чистят, размечают руками. Синтетический — производят. Нужен миллион диалогов «клиент жалуется на доставку»? Не ищешь их по саппорт-переписке, а просишь сильную модель написать миллион таких диалогов сразу с разметкой.

Самый известный пример подхода — модели семейства Phi от Microsoft. Их учили не на всём подряд, а на сгенерированных «учебниках»: короткие чистые объяснения с примерами. Результат оказался неприлично хорош для их размера — маленькие модели обходили тех, кто был крупнее, но кормился сырым интернетом.

Почему выдумка бывает лучше правды

Три причины, и ни одна из них не «так дешевле».

Реальных данных на нужную задачу просто нет. Хочешь научить модель распознавать редкую поломку на снимке — у тебя двадцать фотографий за три года. Сгенерировать ещё двадцать тысяч вариантов той же поломки под разным светом и углом реально, а найти — нет.

Настоящие данные нельзя брать. Медицинские карты, переписки, платежи. Синтетический набор повторяет структуру и статистику настоящего, но не принадлежит ни одному живому человеку — и юридически это совсем другая история.

Настоящие данные грязные. Интернет — это опечатки, реклама, споры и просто чушь. А сгенерированный пример приходит сразу с ответом, разметкой и нужным уровнем сложности. Модель учится на отличниках, а не на всём подряд.

Отдельно стоит дистилляция — там сильная модель генерирует ответы, а маленькая учится их повторять. Это тоже синтетические данные, просто с конкретной целью: перелить умение в модель поменьше.

Где всё ломается: копия с копии

Теперь про предел, о котором стоит знать, даже если ты никого не обучаешь.

Если модель учить на её собственных выдумках, потом на выдумках следующего поколения — и так по кругу, качество разваливается. У эффекта есть имя: model collapse, коллапс модели. Исследование на эту тему вышло в Nature в 2024-м, и картина там наглядная: с каждым поколением модель всё увереннее говорит про середину распределения и всё быстрее забывает края.

Механика простая. Любая генерация чуть-чуть сглаживает: редкое встречается реже, странное отсекается. Один раз — незаметно. Пять раз подряд — и редкие явления исчезают вовсе. Мир для модели становится усреднённым и скучным.

Отсюда правило, которым пользуются все, кто работает всерьёз: синтетика — это добавка, а якорь всегда реальный. Сгенерированные данные разбавляют настоящими и проверяют результат на живых примерах, а не на таких же придуманных.

Где это пригодится лично тебе

Не жди своей модели — синтетические данные полезны сразу, как только ты что-то собираешь.

Наполнить прототип. Пустой интерфейс врёт: он выглядит аккуратно, потому что в нём ничего нет. Попроси модель сгенерировать 50 записей — и сразу увидишь, что длинное имя ломает вёрстку.

Придумать краевые случаи. Это самое ценное. Свои тесты ты пишешь под то, что уже представил, — а ошибки живут в том, что не представил.

Сгенерируй 30 примеров ввода для формы регистрации. Треть — нормальные, треть — странные, но допустимые (двойные фамилии, апострофы, кириллица в почте), треть — злые: эмодзи, пробелы по краям, очень длинные строки, пустые поля. Дай таблицей: ввод → что должно произойти.

Собрать набор для проверки. Прежде чем менять промпт, нужен список задач с ожидаемыми ответами — иначе «стало лучше» превращается в ощущение. Сгенерированный набор для такой проверки качества — нормальный старт, если потом просмотреть его глазами.

Показать проект, не показывая людей. Скриншот для презентации, демо для заказчика, публичный репозиторий — везде нужны правдоподобные данные, и везде опасно взять настоящие. Сгенерированный набор с той же структурой закрывает вопрос: имена, суммы и переписка выглядят живыми, но не принадлежат никому.

И в каждом случае держи в голове ту же оговорку, что и большие лаборатории: сгенерированные примеры смещены в сторону «типичного». Модель охотно придумает десять обычных заказов и почти никогда — заказ на ноль рублей, оформленный в три часа ночи с пустым адресом. Поэтому пару настоящих примеров рядом положить обязательно: именно они ловят то, до чего генерация не додумалась.

Синтетические данные — это фейк?

Нет. Фейк выдаёт себя за реальность, а синтетические данные честно заявлены как сгенерированные. Проблема начинается там, где их выдают за настоящие: тогда любая статистика по ним рассказывает не про мир, а про модель, которая их придумала.

На них можно дообучить свою модель?

Можно, и так делают постоянно — особенно для узких задач вроде «отвечай в нашем формате». Только следи за источником: если примеры генерирует та же модель, которую ты обучаешь, ты закрепляешь её собственные привычки, включая ошибки. Генерировать должна модель сильнее, а проверять — человек.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →