Что такое flaky-тест — и почему он опаснее упавшего

Упавший тест — это хорошая новость. Он громко говорит: «здесь сломано», ты идёшь и чинишь.
А вот тест, который падает через раз, — новость плохая. Не потому, что он падает. А потому, что через неделю ты перестаёшь верить красному цвету вообще. «А, это опять тот флакающий, перезапусти» — и однажды под этой фразой проезжает настоящий баг. Флаки-тест ломает не сборку. Он ломает доверие к тестам.
Что такое flaky-тест
Flaky-тест (флаки-тест, «плавающий» тест) — это тест, который на одном и том же коде даёт разный результат. Ничего не менял, запустил дважды — один раз зелёный, один раз красный.
Ключевое слово тут — «одном и том же». Если тест падает после твоей правки, он не флаки, он просто нашёл баг. Флаки — когда меняется только время запуска, а результат гуляет.
И вот главное, что стоит принять сразу: флаки-тест почти никогда не «сломанный тест». Обычно это честный отчёт о том, что твой код ведёт себя недетерминированно. Тест не выдумывает проблему — он ловит редкую, которая в проде случится в самый неудачный момент.
Три причины, из которых состоит 90% флаки
1. Тест не дождался. Самая частая. Код асинхронный: клик отправляет запрос, ответ приходит через 40 мс, а проверка выполняется через 30. На быстрой машине успело, на загруженной — нет.
Как узнать: тест падает на «элемент не найден» или «ожидалось X, получено undefined», причём чаще в CI, чем у тебя.
2. Тесты делят состояние. Первый тест создал пользователя [email protected], второй его же создаёт и падает на «уже существует». Пока они шли по порядку — работало. Как только раннер запустил их параллельно или в другом порядке — привет.
Как узнать: тест зелёный в одиночку и красный в общем прогоне. Это диагноз.
3. Внешний мир. Тест ходит в реальный API, читает системное время или берёт случайные данные. Классика — тест, который падает ровно в полночь, потому что «сегодня» внутри теста и «сегодня» на сервере разъехались на день.
Все три — родня состояния гонки: результат зависит от порядка, а порядок никто не гарантировал.
Почему ретрай — худшая починка (и почему её предложит ИИ)
Попроси ИИ «почини падающий тест» — и с большой вероятностью получишь одно из двух: sleep(1000) перед проверкой или флаг «перезапусти тест три раза».
Это работает. И это худшее, что можно сделать.
sleep не чинит гонку, а маскирует: он делает окно шире, но окно остаётся. На нагруженном CI-раннере твоя секунда однажды не хватит — и тест вернётся, только теперь каждый прогон медленнее на секунду. Автоматический ретрай ещё честнее в своей бесполезности: он буквально говорит «баг есть, но мы отвернёмся».
Модель не виновата — она решает ровно ту задачу, которую ты поставил: «сделай зелёным». Так что ставь другую. Рабочая формулировка: «не делай тест зелёным — объясни, почему результат недетерминирован, и назови общее состояние или ожидание, из-за которого это происходит». Дальше уже можно чинить осознанно — этот приём работает и в обычной отладке с ИИ.
Как поймать плавающий тест
Флаки ловится не глазами, а повторением:
- Прогони его подряд 20 раз. У большинства раннеров есть флаг повтора; если нет — цикл в терминале. Один прогон ничего не доказывает.
- Прогони в одиночку. Зелёный один и красный в пачке — значит, дело в общем состоянии, а не во времени.
- Перемешай порядок. Многие раннеры умеют запускать тесты в случайном порядке. Если после этого посыпалось — тесты зависят друг от друга.
- Убери случайность. Зафиксируй время и случайные значения. Тест должен зависеть только от кода.
Что получится: за пятнадцать минут ты узнаешь, какая из трёх причин твоя. Дальше починка обычно скучная и короткая — ждать событие вместо паузы, чистить данные между тестами, подменять внешний вызов.
И правило гигиены: плавающий тест — не «потом». Либо чини сразу, либо честно помечай как пропущенный с задачей на починку. Красный, которому не верят, хуже, чем отсутствующий, — он тихо обесценивает весь прогон в CI.
Флаки-тест — это всегда баг в коде?
Не всегда, но чаще, чем хочется. Иногда виновата сама проверка (ждёт жёсткий порядок в списке, где порядок не гарантирован). Но если тест плавает из-за времени или общего состояния — проблема в коде, и пользователь на неё однажды наступит.
Сколько флаки-тестов считается нормой?
Ноль — как цель, потому что стоимость нелинейна: один плавающий тест из ста уже приучает команду перезапускать прогон вместо чтения лога. Проще держать список известных флаки коротким и разбирать его, чем привыкать к жёлтому свету.
С чего начать, если тестов пока нет?
С одного теста на функцию, где страшнее всего ошибиться. И сразу писать их детерминированными: без реальной сети, без sleep, без «сегодня». Как это делать с моделью — разбирали в гайде про тесты с ИИ.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





