Инфраструктура была покрыта кодом почти на сто процентов. Мониторинг покрыты все компоненты. В момент аварии все метрики базы данных были идеальными, соседние сервисы на том же сервере СУБД работали без единой ошибки, провайдер облака показывал зелёный статус.При этом продакшн лежал двадцать минут, и первые пятнадцать никто не понимал, что происходит.Причина лежала в истории изменений инфраструктуры, и за первые пятнадцать минут туда не посмотрел никто. Читать далее