Коли база впала о 2:30 ранку, а телефон адміністратора розрядився — автоматизація вже не розкіш, а необхідність. Ми розберемо, як побудувати систему, яка сама виявляє проблеми та запускає процедури відновлення без людського втручання.

Головна проблема не в технологіях, а в тому, що люди недооцінюють складність. Скрипт, який працював на тестовому середовищі, може повністю зламатися на проді через відмінності в версіях бібліотек чи правах доступу. Тому критично важливо тестувати автоматизацію в умовах, максимально наближених до бойових.

Моніторинг як основа

Без нормального моніторингу автоматизація відновлення неможлива. Треба знати не лише те, що сервіс впав, а й чому саме. Диск заповнився? Процес завис? База перестала приймати з'єднання через досягнення ліміту?

Prometheus з Alertmanager дозволяє налаштувати складні правила: якщо використання диску перевищує 85%, спочатку очистити тимчасові файли автоматично. Якщо після цього все ще більше 90% — вислати алерт адміністратору. Якщо понад 95% — спробувати зупинити некритичні сервіси та запустити екстрене архівування логів у хмару.

Orchestration та failover

Kubernetes вміє автоматично перезапускати контейнери, які впали, але це лише верхівка айсберга. Правильно налаштований readiness probe перевіряє не просто доступність порту, а реальну працездатність сервісу — наприклад, чи відповідає база на тестовий запит за розумний час.

Для баз даних критична реплікація. PostgreSQL з Patroni автоматично промотить реплику в мастер, якщо основний сервер недоступний більше 30 секунд. MySQL Group Replication робить те саме. Але треба розуміти нюанси: автоматичний failover може призвести до split-brain, якщо мережа між датацентрами нестабільна.

Практичні інструменти

Ansible для оркестрації процедур відновлення. Написали playbook, який автоматично розгортає резервну базу з останнього бекапу, перемикає DNS, оновлює конфігурацію балансувальника. Займає 8 хвилин замість години ручної роботи.

Terraform для відновлення інфраструктури в хмарі. Весь стан описано в коді — якщо датацентр згорів, за 20 хвилин піднімаємо ідентичне середовище в іншому регіоні. Звісно, якщо заздалегідь підготували конфігурацію та регулярно її перевіряли.