Что такое…

Что такое flaky-тест — и почему он опаснее упавшего

Иллюстрация: светофор, застрявший между зелёным и красным

Упавший тест — это хорошая новость. Он громко говорит: «здесь сломано», ты идёшь и чинишь.

А вот тест, который падает через раз, — новость плохая. Не потому, что он падает. А потому, что через неделю ты перестаёшь верить красному цвету вообще. «А, это опять тот флакающий, перезапусти» — и однажды под этой фразой проезжает настоящий баг. Флаки-тест ломает не сборку. Он ломает доверие к тестам.

Что такое flaky-тест

Flaky-тест (флаки-тест, «плавающий» тест) — это тест, который на одном и том же коде даёт разный результат. Ничего не менял, запустил дважды — один раз зелёный, один раз красный.

Ключевое слово тут — «одном и том же». Если тест падает после твоей правки, он не флаки, он просто нашёл баг. Флаки — когда меняется только время запуска, а результат гуляет.

И вот главное, что стоит принять сразу: флаки-тест почти никогда не «сломанный тест». Обычно это честный отчёт о том, что твой код ведёт себя недетерминированно. Тест не выдумывает проблему — он ловит редкую, которая в проде случится в самый неудачный момент.

Три причины, из которых состоит 90% флаки

1. Тест не дождался. Самая частая. Код асинхронный: клик отправляет запрос, ответ приходит через 40 мс, а проверка выполняется через 30. На быстрой машине успело, на загруженной — нет.

Как узнать: тест падает на «элемент не найден» или «ожидалось X, получено undefined», причём чаще в CI, чем у тебя.

2. Тесты делят состояние. Первый тест создал пользователя [email protected], второй его же создаёт и падает на «уже существует». Пока они шли по порядку — работало. Как только раннер запустил их параллельно или в другом порядке — привет.

Как узнать: тест зелёный в одиночку и красный в общем прогоне. Это диагноз.

3. Внешний мир. Тест ходит в реальный API, читает системное время или берёт случайные данные. Классика — тест, который падает ровно в полночь, потому что «сегодня» внутри теста и «сегодня» на сервере разъехались на день.

Все три — родня состояния гонки: результат зависит от порядка, а порядок никто не гарантировал.

Почему ретрай — худшая починка (и почему её предложит ИИ)

Попроси ИИ «почини падающий тест» — и с большой вероятностью получишь одно из двух: sleep(1000) перед проверкой или флаг «перезапусти тест три раза».

Это работает. И это худшее, что можно сделать.

sleep не чинит гонку, а маскирует: он делает окно шире, но окно остаётся. На нагруженном CI-раннере твоя секунда однажды не хватит — и тест вернётся, только теперь каждый прогон медленнее на секунду. Автоматический ретрай ещё честнее в своей бесполезности: он буквально говорит «баг есть, но мы отвернёмся».

Модель не виновата — она решает ровно ту задачу, которую ты поставил: «сделай зелёным». Так что ставь другую. Рабочая формулировка: «не делай тест зелёным — объясни, почему результат недетерминирован, и назови общее состояние или ожидание, из-за которого это происходит». Дальше уже можно чинить осознанно — этот приём работает и в обычной отладке с ИИ.

Как поймать плавающий тест

Флаки ловится не глазами, а повторением:

  1. Прогони его подряд 20 раз. У большинства раннеров есть флаг повтора; если нет — цикл в терминале. Один прогон ничего не доказывает.
  2. Прогони в одиночку. Зелёный один и красный в пачке — значит, дело в общем состоянии, а не во времени.
  3. Перемешай порядок. Многие раннеры умеют запускать тесты в случайном порядке. Если после этого посыпалось — тесты зависят друг от друга.
  4. Убери случайность. Зафиксируй время и случайные значения. Тест должен зависеть только от кода.

Что получится: за пятнадцать минут ты узнаешь, какая из трёх причин твоя. Дальше починка обычно скучная и короткая — ждать событие вместо паузы, чистить данные между тестами, подменять внешний вызов.

И правило гигиены: плавающий тест — не «потом». Либо чини сразу, либо честно помечай как пропущенный с задачей на починку. Красный, которому не верят, хуже, чем отсутствующий, — он тихо обесценивает весь прогон в CI.

Флаки-тест — это всегда баг в коде?

Не всегда, но чаще, чем хочется. Иногда виновата сама проверка (ждёт жёсткий порядок в списке, где порядок не гарантирован). Но если тест плавает из-за времени или общего состояния — проблема в коде, и пользователь на неё однажды наступит.

Сколько флаки-тестов считается нормой?

Ноль — как цель, потому что стоимость нелинейна: один плавающий тест из ста уже приучает команду перезапускать прогон вместо чтения лога. Проще держать список известных флаки коротким и разбирать его, чем привыкать к жёлтому свету.

С чего начать, если тестов пока нет?

С одного теста на функцию, где страшнее всего ошибиться. И сразу писать их детерминированными: без реальной сети, без sleep, без «сегодня». Как это делать с моделью — разбирали в гайде про тесты с ИИ.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →