В мониторинге инцидент — это запись о подтверждённой проблеме. У него есть начало, конец и, как правило, причина. Именно инцидентами измеряется история: что вышло из строя, когда, на сколько и почему.

Неудачная проверка, инцидент, простой

Эти слова близки по смыслу, но не совпадают.

Термин Что это
Неудачная проверка Один запрос, на который не пришёл нормальный ответ. Это может быть случайный сбой
Инцидент Подтверждённая проблема, собранная из неудачных проверок, с началом и концом
Простой Время, когда сервисом нельзя было пользоваться. Мониторинг измеряет его инцидентами
Предупреждение Уведомление о том, что скоро что-то сломается, например о сертификате, срок действия которого подходит к концу. Сбоя пока не было

Одна неудачная проверка — это сигнал, а не приговор. Системы мониторинга ждут подтверждения, прежде чем назвать что-либо инцидентом, чтобы потерянный пакет никого не будил. Как это устроено и что всё же может пойти не так, рассказано в статье Почему мониторинг доступности присылает ложные оповещения.

Инцидент — это измеримая форма простоя, и именно на его длительность уменьшаются показатели доступности.

Мониторинг — это не управление инцидентами

В книге Google по SRE управление инцидентами рассматривается как отдельная дисциплина с ролями, коммуникацией и ответственным человеком. Там описаны критерии, по которым объявляют инцидент, например видят ли сбой клиенты. Монитор питает этот процесс: обнаруживает проблему и записывает её хронологию. Но реагированием он не управляет.

Инциденты в UptimeWire

В UptimeWire инцидент принадлежит проверке сайта:

  • Он открывается, когда подряд не проходят три проверки с интервалом около 20 секунд. Если доступен второй пункт проверки или сервер, сначала у него спрашивают второе мнение.
  • Его время начала — это время первой из этих неудачных проверок.
  • Он закрывается после двух успешных проверок.
  • В нём сохраняются длительность, причина сбоя и отправленные оповещения.

Предупреждения о SSL-сертификате, домене и DNS существуют отдельно. Инцидентов они не открывают. У сайта может быть предупреждение о сертификате без всякого инцидента.

UptimeWire записывает инциденты и сообщает о них. Заметок к инцидентам, подтверждения получения и назначения ответственного в нём нет.