Что такое инцидент — и почему его объявляют раньше, чем находят причину

Смотри, странная штука. В Google решение «у нас инцидент» принимают по трём вопросам — и ни один из них не звучит как «мы поняли, что сломалось».
Это переворачивает привычную логику. Кажется, что сначала надо разобраться, а потом уже поднимать тревогу. На самом деле наоборот: сначала объявляешь, потом разбираешься. И вот почему.
Инцидент — это не баг, а режим работы
Баг — это дефект в коде. Он может жить месяцами, и никто не умрёт.
Инцидент — это состояние, в котором ты переключаешь режим: бросаешь всё остальное, зовёшь людей, начинаешь писать, что происходит. Инцидент — не про размер поломки, а про то, как ты на неё отвечаешь.
Поэтому фраза «у нас инцидент» не значит «всё пропало». Она значит: работаем по процедуре, а не кто во что горазд.
Три вопроса, по которым объявляют
В книге Google SRE критерии сформулированы прямо, списком вопросов:
- Нужно ли привлекать вторую команду, чтобы починить?
- Видна ли поломка клиентам?
- Проблема всё ещё не решена после часа сосредоточенного анализа?
Хоть одно «да» — объявляй.
Обрати внимание на третий пункт. Час копания без результата — уже само по себе основание. Не «стало хуже», а просто «час прошёл, а я всё ещё не понимаю». Именно тут большинство и тянет: кажется, что ещё пятнадцать минут — и найдётся.
И там же сказано жёстче: лучше объявить рано, найти простой фикс и закрыть, чем разворачивать весь процесс через несколько часов после начала проблемы.
Роли: тот, кто командует, не чинит
Самое неочевидное в схеме Google — разделение ролей. Их несколько, но для начала важны три:
- Командир инцидента. Держит общую картину: что известно, кто чем занят, что дальше. Он не лезет в код.
- Ведущий по работам. Единственный, кто трогает систему: катит откат, перезапускает, меняет конфиг.
- Ведущий по коммуникации. Пишет обновления — команде и тем, кто ждёт снаружи.
Почему командир не чинит? Потому что человек, который залез в логи, через десять минут выпадает из реальности. Он смотрит в одну точку и не видит, что клиенты уже час не могут оплатить.
Это не бюрократия. Это защита от того, что все шестеро одновременно правят один и тот же файл, а объяснять происходящее некому.
Что делать, когда ты один
У тебя нет второй команды и ведущего по коммуникации. Всё равно работает — просто роли становятся режимами, между которыми ты переключаешься:
- Останови кровь, потом ищи причину. Первое действие в инциденте — откат на прошлую рабочую версию. Не «сейчас быстро поправлю» — именно вернуть то, что работало.
- Заведи текстовый файл и пиши время. «14:20 заметил 500-е. 14:24 откатил. 14:31 ответы вернулись». Через два часа ты не вспомнишь порядок событий, а он и есть самое ценное.
- Скажи вслух, кто ждёт. Даже если это три человека в чате — напиши им «вижу, чиню». Тишина хуже плохих новостей.
- Поставь себе таймер на час. Не нашёл — меняй подход: зови кого-то, откатывай глубже, отключай функцию целиком.
Потом, когда всё утихнет, ты садишься и разбираешь: что случилось и почему заняло столько времени. Это постмортем — отдельный документ, который пишут уже без спешки.
А чтобы в следующий раз не вспоминать команды по памяти в три часа ночи, действия из шага 1 стоит заранее записать в ранбук.
Когда инцидент считается закрытым
Тут ошибаются почти все: сервис ответил — значит, всё, расходимся. Нет.
Восстановление сервиса и закрытие инцидента — два разных события. Между ними надо сделать три вещи:
- Убедиться, что это не совпадение. Подожди, пока показатели подержатся в норме хотя бы несколько минут. Перезапуск часто «чинит» на пять минут, потому что проблема копится заново.
- Проверить последствия. Пока всё лежало, что-то могло потеряться: неотправленные письма, зависшие в промежуточном состоянии заказы, невыполненные фоновые задачи. Их надо догнать руками, и это часть инцидента, а не отдельная задача на потом.
- Сказать тем, кто ждал, что всё. Молчание после «чиню» люди читают как «до сих пор лежит».
И только теперь можно снимать режим. Обычно закрытие инцидента звучит так: «сервис в норме, потерянные задачи догнаны, разбор — завтра». Причём разбор с датой и владельцем, иначе его не будет никогда.
Инцидент — это то же самое, что баг?
Нет. Баг — дефект в коде, он попадает в список задач. Инцидент — режим ответа на то, что происходит прямо сейчас: с ролями, отсчётом времени и приоритетом выше всего остального. Один баг может вызвать инцидент, а может пролежать в бэклоге полгода.
А если оно само прошло?
Это всё равно был инцидент. «Само прошло» обычно значит, что нагрузка спала или кто-то перезапустил процесс — причина никуда не делась и вернётся. Как раз такие случаи важнее всего разобрать: у тебя есть поломка без последствий, то есть бесплатный урок.
Стоит ли объявлять инцидент, если у меня десять пользователей?
Стоит — ради привычки. Смысл не в размере аудитории, а в том, чтобы у тебя был отработанный порядок действий: остановить, записать, сообщить, разобрать. На десяти пользователях эта привычка ставится дёшево. На десяти тысячах — уже дорого.
Курс «Профессия 2027: ИИ-архитектор»: шаг за шагом от основ компьютера до своего приложения и первых клиентов. 543 коротких урока на телефоне.





