Что такое…

Что такое инцидент — и почему его объявляют раньше, чем находят причину

Иллюстрация: сигнал поднят раньше, чем найдена причина

Смотри, странная штука. В Google решение «у нас инцидент» принимают по трём вопросам — и ни один из них не звучит как «мы поняли, что сломалось».

Это переворачивает привычную логику. Кажется, что сначала надо разобраться, а потом уже поднимать тревогу. На самом деле наоборот: сначала объявляешь, потом разбираешься. И вот почему.

Инцидент — это не баг, а режим работы

Баг — это дефект в коде. Он может жить месяцами, и никто не умрёт.

Инцидент — это состояние, в котором ты переключаешь режим: бросаешь всё остальное, зовёшь людей, начинаешь писать, что происходит. Инцидент — не про размер поломки, а про то, как ты на неё отвечаешь.

Поэтому фраза «у нас инцидент» не значит «всё пропало». Она значит: работаем по процедуре, а не кто во что горазд.

Три вопроса, по которым объявляют

В книге Google SRE критерии сформулированы прямо, списком вопросов:

  • Нужно ли привлекать вторую команду, чтобы починить?
  • Видна ли поломка клиентам?
  • Проблема всё ещё не решена после часа сосредоточенного анализа?

Хоть одно «да» — объявляй.

Обрати внимание на третий пункт. Час копания без результата — уже само по себе основание. Не «стало хуже», а просто «час прошёл, а я всё ещё не понимаю». Именно тут большинство и тянет: кажется, что ещё пятнадцать минут — и найдётся.

И там же сказано жёстче: лучше объявить рано, найти простой фикс и закрыть, чем разворачивать весь процесс через несколько часов после начала проблемы.

Роли: тот, кто командует, не чинит

Самое неочевидное в схеме Google — разделение ролей. Их несколько, но для начала важны три:

  • Командир инцидента. Держит общую картину: что известно, кто чем занят, что дальше. Он не лезет в код.
  • Ведущий по работам. Единственный, кто трогает систему: катит откат, перезапускает, меняет конфиг.
  • Ведущий по коммуникации. Пишет обновления — команде и тем, кто ждёт снаружи.

Почему командир не чинит? Потому что человек, который залез в логи, через десять минут выпадает из реальности. Он смотрит в одну точку и не видит, что клиенты уже час не могут оплатить.

Это не бюрократия. Это защита от того, что все шестеро одновременно правят один и тот же файл, а объяснять происходящее некому.

Что делать, когда ты один

У тебя нет второй команды и ведущего по коммуникации. Всё равно работает — просто роли становятся режимами, между которыми ты переключаешься:

  1. Останови кровь, потом ищи причину. Первое действие в инциденте — откат на прошлую рабочую версию. Не «сейчас быстро поправлю» — именно вернуть то, что работало.
  2. Заведи текстовый файл и пиши время. «14:20 заметил 500-е. 14:24 откатил. 14:31 ответы вернулись». Через два часа ты не вспомнишь порядок событий, а он и есть самое ценное.
  3. Скажи вслух, кто ждёт. Даже если это три человека в чате — напиши им «вижу, чиню». Тишина хуже плохих новостей.
  4. Поставь себе таймер на час. Не нашёл — меняй подход: зови кого-то, откатывай глубже, отключай функцию целиком.

Потом, когда всё утихнет, ты садишься и разбираешь: что случилось и почему заняло столько времени. Это постмортем — отдельный документ, который пишут уже без спешки.

А чтобы в следующий раз не вспоминать команды по памяти в три часа ночи, действия из шага 1 стоит заранее записать в ранбук.

Когда инцидент считается закрытым

Тут ошибаются почти все: сервис ответил — значит, всё, расходимся. Нет.

Восстановление сервиса и закрытие инцидента — два разных события. Между ними надо сделать три вещи:

  • Убедиться, что это не совпадение. Подожди, пока показатели подержатся в норме хотя бы несколько минут. Перезапуск часто «чинит» на пять минут, потому что проблема копится заново.
  • Проверить последствия. Пока всё лежало, что-то могло потеряться: неотправленные письма, зависшие в промежуточном состоянии заказы, невыполненные фоновые задачи. Их надо догнать руками, и это часть инцидента, а не отдельная задача на потом.
  • Сказать тем, кто ждал, что всё. Молчание после «чиню» люди читают как «до сих пор лежит».

И только теперь можно снимать режим. Обычно закрытие инцидента звучит так: «сервис в норме, потерянные задачи догнаны, разбор — завтра». Причём разбор с датой и владельцем, иначе его не будет никогда.

Инцидент — это то же самое, что баг?

Нет. Баг — дефект в коде, он попадает в список задач. Инцидент — режим ответа на то, что происходит прямо сейчас: с ролями, отсчётом времени и приоритетом выше всего остального. Один баг может вызвать инцидент, а может пролежать в бэклоге полгода.

А если оно само прошло?

Это всё равно был инцидент. «Само прошло» обычно значит, что нагрузка спала или кто-то перезапустил процесс — причина никуда не делась и вернётся. Как раз такие случаи важнее всего разобрать: у тебя есть поломка без последствий, то есть бесплатный урок.

Стоит ли объявлять инцидент, если у меня десять пользователей?

Стоит — ради привычки. Смысл не в размере аудитории, а в том, чтобы у тебя был отработанный порядок действий: остановить, записать, сообщить, разобрать. На десяти пользователях эта привычка ставится дёшево. На десяти тысячах — уже дорого.

Стань ИИ-архитектором, а не просто читай об ИИ

Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.

Об Академии
Робот KODiQ

ИИ-редактор KODiQ. Пишет про вайб-кодинг и AI-инструменты простым языком — каждый день.

Все статьи →