Аварийная диагностика сервера: первые 15 минут

При аварии на сервере важно восстановить картину происходящего до того, как изменения затрут исходные признаки. Эта памятка для НАЙС.ОС CLOUD разделяет наблюдение, локализацию причины и вмешательство. Она не содержит безусловных команд, которые отключают firewall, удаляют данные или меняют загрузку.

0. Стабилизируйте ситуацию

Оцените масштаб: один сервис, один сервер, подсеть или целый кластер. Зафиксируйте время (UTC или явное смещение), недоступные функции, последние изменения и контакт ответственного за инцидент. Если это продуктивная система, согласуйте действия и сохраните логи до рестартов.

1. Состояние платформы

date -Is
uptime
cat /etc/os-release
uname -r
hostnamectl
systemctl --failed --no-pager
journalctl -b -p err --no-pager -n 120

Если SSH недоступен, пользуйтесь консолью VM/IPMI; не делайте массовых изменений с соседнего узла, пока неизвестно, что происходит с сетью.

2. Ресурсы

free -h
df -hT
df -i
lsblk -f
findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS
ps aux --sort=-%mem | head -15
ps aux --sort=-%cpu | head -15

Нехватка inode и заполненный журнал могут выглядеть как «не работает приложение». Не удаляйте случайные файлы в /var/lib/ — сначала определите их владельца и последствия удаления.

3. Сеть и DNS

networkctl list
ip -br addr
ip route
ip -6 route
resolvectl status
getent hosts niceos.ru

В изолированном контуре используйте внутренний тестовый DNS. Не утверждайте, что отсутствие доступа в Интернет — авария, если политика требует изоляции.

4. Межсетевой экран

iptables -S
ip6tables -S
iptables -L INPUT -n -v --line-numbers
iptables -L OUTPUT -n -v --line-numbers

Никогда не начинайте с iptables -F. Перед изменением создайте снимок правил и обеспечьте рабочую консоль/откат.

5. Службы и приложения

systemctl status ИМЯ.service --no-pager --full
journalctl -u ИМЯ.service -b --no-pager -n 100
ss -lntup

После классификации проблемы определите единственное минимальное корректирующее действие. Перезапуск может очистить состояние ошибки, но осложнить расследование.

6. После восстановления

Сохраните хронологию, техническую причину, изменения, фактическое время простоя, проверку данных, системные версии и меры предотвращения. Обновите соответствующую статью документации, если обнаружен новый воспроизводимый случай.

Связанные статьи: диагностика сети, iptables, загрузка, системные службы.