Система наблюдения, настроенная плохо, обходится дороже её отсутствия. Когда в канал сыплются сотни сообщений, дежурный перестаёт их открывать — и настоящую аварию замечает вместе со всеми остальными, из жалоб пользователей. Поэтому работу я начинаю с инвентаризации: какие сервисы у вас есть, какой из них чем держится, что ломается вместе, а что по отдельности. Карта зависимостей нужна затем, чтобы падение одной базы не превращалось в тридцать отдельных тревог.
После этого настраиваю наблюдение слоями. Внешний слой отвечает на вопрос «работает ли это для посетителя»: запрос со стороны, проверка кода ответа и обязательно маркера на самой странице, время отклика, корректность сертификата. Внутренний слой смотрит на машину: свободное место и темп его расхода, нагрузка, память, состояние дисков, длина фоновых очередей и возраст последней успешной резервной копии. Отдельно идут календарные вещи, которые ломаются молча, — сроки сертификатов и продления доменов.
Третья часть — люди. Срочность тревоги определяет канал и время: то, что подождёт до утра, не будит никого, а то, что стоит денег каждую минуту, идёт звонком. Составляется дежурный график, прописывается эскалация, руководитель получает отдельную панель состояния без технических подробностей. Оговорю заранее: тревога без инструкции бесполезна — к каждой пишется, что проверять и кому звонить; пороги настраиваются так, чтобы оповещения не шли потоком, потому что список, где половина срабатываний ложные, перестают читать целиком; доступы к серверам именные, а общий пароль для всей команды не используется.
Этапы работы:
— инвентаризация сервисов и карта зависимостей;
— согласование границы между аварией и рабочим шумом;
— внешние проверки: доступность, содержимое, время отклика, сертификаты;
— внутренние проверки: диски, нагрузка, память, очереди, резервные копии;
— настройка каналов и правил срочности, подавление повторов;
— дежурный график, лестница эскалации, инструкции на каждый вид тревоги;
— панель состояния для руководителя;
— пересмотр порогов по статистике первого месяца.
После этого настраиваю наблюдение слоями. Внешний слой отвечает на вопрос «работает ли это для посетителя»: запрос со стороны, проверка кода ответа и обязательно маркера на самой странице, время отклика, корректность сертификата. Внутренний слой смотрит на машину: свободное место и темп его расхода, нагрузка, память, состояние дисков, длина фоновых очередей и возраст последней успешной резервной копии. Отдельно идут календарные вещи, которые ломаются молча, — сроки сертификатов и продления доменов.
Третья часть — люди. Срочность тревоги определяет канал и время: то, что подождёт до утра, не будит никого, а то, что стоит денег каждую минуту, идёт звонком. Составляется дежурный график, прописывается эскалация, руководитель получает отдельную панель состояния без технических подробностей. Оговорю заранее: тревога без инструкции бесполезна — к каждой пишется, что проверять и кому звонить; пороги настраиваются так, чтобы оповещения не шли потоком, потому что список, где половина срабатываний ложные, перестают читать целиком; доступы к серверам именные, а общий пароль для всей команды не используется.
Этапы работы:
— инвентаризация сервисов и карта зависимостей;
— согласование границы между аварией и рабочим шумом;
— внешние проверки: доступность, содержимое, время отклика, сертификаты;
— внутренние проверки: диски, нагрузка, память, очереди, резервные копии;
— настройка каналов и правил срочности, подавление повторов;
— дежурный график, лестница эскалации, инструкции на каждый вид тревоги;
— панель состояния для руководителя;
— пересмотр порогов по статистике первого месяца.
