Ваша система однажды столкнётся с настоящим инцидентом — вопрос лишь в том, узнаете вы о её слабых местах на учениях или в три часа ночи под звонки клиентов. Я предлагаю первый вариант. Провожу контролируемые эксперименты по разрушению: намеренно ввожу отказы, сетевые задержки, нехватку памяти и CPU, обрывы связи между сервисами — и смотрю, как инфраструктура держит удар. Работаю по методике game day: заранее согласуем гипотезу, ограничиваем радиус воздействия и держим кнопку аварийной остановки под рукой.
Мой набор инструментов включает Chaos Mesh и Gremlin, но дело не в них, а в сценариях: падение ноды, потеря реплики базы, деградация внешнего API, каскадные таймауты. Я проверяю, срабатывают ли автоматическое переключение, ретраи, лимиты и мониторинг так, как задумано, а не так, как написано в вики. По итогам вы получаете разбор каждого найденного риска, инструкцию по воспроизведению и план устранения с расставленными приоритетами.
Дальше мы повторяем эксперимент и убеждаемся, что уязвимость закрыта. Такой цикл превращает отказоустойчивость из обещания в измеримое свойство, а вашу команду — в людей, которые сами регулярно проверяют системы на прочность.
Мой набор инструментов включает Chaos Mesh и Gremlin, но дело не в них, а в сценариях: падение ноды, потеря реплики базы, деградация внешнего API, каскадные таймауты. Я проверяю, срабатывают ли автоматическое переключение, ретраи, лимиты и мониторинг так, как задумано, а не так, как написано в вики. По итогам вы получаете разбор каждого найденного риска, инструкцию по воспроизведению и план устранения с расставленными приоритетами.
Дальше мы повторяем эксперимент и убеждаемся, что уязвимость закрыта. Такой цикл превращает отказоустойчивость из обещания в измеримое свойство, а вашу команду — в людей, которые сами регулярно проверяют системы на прочность.
