Пошаговый план построения мониторинга всех слоёв ИТ-инфраструктуры

Представьте, что ваша ИТ-инфраструктура — это большой жилой дом. В нём есть фундамент (серверы), водопровод и электричество (сеть), квартиры (приложения и сайты) и жильцы (пользователи). Если в одной из квартир прорвало трубу, а вы узнаете об этом только когда соседи снизу начнут стучать по батареям — это плохой сценарий. Мониторинг нужен для того, чтобы узнавать о «протечках» раньше, чем они затопят весь дом, и устранять их без паники. В этой статье мы разберем, как построить программное решение для мониторинга продуктов и систему наблюдения за всеми слоями ИТ-инфраструктуры простыми словами.

Что такое «слои» инфраструктуры и зачем их мониторить?

Чтобы не запутаться, разложим сложную систему на понятные уровни. Каждый уровень — это отдельный «слой», который можно проверить.

• Физический уровень (Железо): серверы, диски, блоки питания, температура в стойке.
• Сетевой уровень: маршрутизаторы, коммутаторы, скорость передачи данных, потеря пакетов.
• Уровень операционной системы: загрузка процессора, занятая память, свободное место на дисках.
• Уровень приложений: работает ли сайт, быстро ли отвечает база данных, не «виснет» ли программа.
• Уровень бизнес-логики: сколько заказов проходит в час, как быстро оформляется корзина.

Золотое правило: если вы видите, что сайт упал, но не можете понять почему — вы начали мониторить с конца. Правильный мониторинг идет снизу вверх, от железа к бизнесу.

Шаг 1: Определите, что вам действительно важно

Самая частая ошибка новичков — пытаться мониторить всё подряд. В итоге приходит тысяча уведомлений, половина из которых не важна, и вы перестаете на них реагировать. Это называется «алертная усталость».

Сядьте и запишите ответы на вопросы:

1. Без чего ваш бизнес или работа встанет полностью? (Например, без интернет-магазина или без 1С).
2. Что раздражает пользователей быстрее всего? (Медленная загрузка страницы, ошибка при оплате).
3. Какие ресурсы ограничены и часто заканчиваются? (Место на диске, оперативная память).

Именно эти вещи и должны стать первыми метриками.

Шаг 2: Сбор метрик — как понять, что происходит

Метрика — это конкретное число, которое описывает состояние системы в данный момент. Например: процент загрузки процессора или количество свободных гигабайт на диске.

Начните с простого и бесплатного

Для первых шагов не нужно покупать дорогое корпоративное ПО. Достаточно связки из двух популярных инструментов:

• Zabbix или Prometheus — программы-коллекторы. Они ходят по вашим серверам, как обходчики, и записывают показания счетчиков.
• Grafana — программа-художник. Она берет эти числа и рисует красивые графики, на которые приятно смотреть.

Хорошая новость в том, что все перечисленные инструменты имеют бесплатные версии, а в интернете есть тысячи готовых шаблонов. Вам не нужно быть программистом, чтобы настроить базовый мониторинг.

Какие метрики собирать на каждом слое

Не пытайтесь сразу объять необъятное. Вот минимальный джентльменский набор для старта:

• Железо: здоровье жестких дисков (S.M.A.R.T.), температура процессора, состояние RAID-массивов (если есть).
• Сеть: пинг (время ответа), процент потерянных пакетов, загрузка канала.
• Операционная система: CPU (загрузка процессора) — если держится выше 90% больше 5 минут, это звоночек. RAM (память), свободное место на дисках (особенно на системном разделе).
• Приложение: код ответа веб-сервера (200 — хорошо, 500 — беда), время ответа базы данных.

Шаг 3: Настройка порогов — когда «норма» превращается в «проблему»

Собрать метрики — полдела. Главное — понять, когда значение становится опасным. Здесь нужны пороги (триггеры).

• Мягкий порог (Warning): место на диске занято на 80%. Это сигнал «приготовься, скоро чистить».
• Жесткий порог (Critical): место занято на 95%. Сигнал «беги и чисти прямо сейчас, иначе всё упадет».

Не ставьте пороги слишком близко друг к другу. Если Warning на 80%, а Critical на 81%, вы будете получать критические алерты каждые пять минут из-за обычных колебаний. Оптимальный зазор — от 5 до 10 процентных пунктов.

Шаг 4: Алерты — как получать сигналы, а не шум

Алерт — это уведомление, которое летит вам на почту, в Telegram или Slack, когда метрика пересекла порог.

Правила хорошего алерта

1. Конкретность: в сообщении должно быть написано: «Сервер «Бухгалтерия», диск C: заполнен на 96%», а не просто «Проблема с диском».
2. Краткость: сообщение должно читаться за 2 секунды.
3. Понятность: человек, получивший алерт ночью, должен сразу понять, что делать (или кого будить).

Частая ошибка: алерты-пустышки

Никогда не настраивайте алерт «просто чтобы был». Если вы получаете письмо, в котором говорится «CPU выше 70%», но вы знаете, что это нормально для этого сервера во время построения отчетов, — вы перестанете доверять системе. Лучше не получать алерт вовсе, чем получать ложные срабатывания.

Шаг 5: Дашборды — ваша приборная панель

Дашборд (Dashboard) — это экран с графиками, на который вы смотрите утром, как на приборную панель автомобиля.

• Спокойное состояние: всё зеленое.
• Напряжение: что-то желтое, но система работает.
• Авария: красный цвет, нужно реагировать.

Сделайте два вида дашбордов:

• Для технарей: графики утилизации, задержек, таблицы очередей.
• Для руководителя/владельца: один экран. Зеленый кружок — «Сайт работает, оплата проходит». Красный — «Есть проблемы, ИТ-отдел уже в курсе». Бизнесу не нужны цифры CPU, ему нужен статус услуги.

Пошаговый план запуска (для новичка)

Чтобы не утонуть в теории, вот чек-лист действий на первые две недели.

1. День 1-2: Установите агент (маленькую программу для сбора данных) на один, самый важный сервер. Пусть он просто собирает CPU и место на диске.
2. День 3-4: Добавьте этот сервер в Grafana. Увидьте первые графики. Это мотивирует.
3. День 5-7: Настройте триггер на переполнение диска (например, 90%). Настройте отправку уведомления в вашу корпоративную почту или мессенджер.
4. Неделя 2: Добавьте в мониторинг ваш роутер/коммутатор и проверку доступности сайта (простой HTTP-запрос раз в минуту).
5. Далее: Постепенно подключайте остальные серверы и сервисы. Не нужно делать всё сразу за один день.

Как понять, что мониторинг работает хорошо? Проведите «учения»: зайдите на сервер, создайте большой пустой файл, чтобы искусственно заполнить диск, и посмотрите, придет ли вам уведомление через пару минут. Если не пришло — ищите ошибку в настройке.

Типичные грабли и как на них не наступить

• Мониторить то, что не жалко потерять. Не тратьте время на настройку датчиков для некритичной машины, пока у вас «слепой» главный сервер.
• Смотреть только на «жив или мертв» (blackbox). Если проверка просто проверяет ответ «ОК» от сервера, она может пропустить момент, когда приложение отвечает, но работает в 10 раз медленнее. Всегда добавляйте проверку скорости ответа.
• Игнорировать тренды. Диск заполняется на 1% в день. Сегодня это нормально, но через 100 дней он переполнится. Смотрите не только на текущее значение, но и на график изменений.

Выводы и итоги

Построение мониторинга — это не разовая акция, а процесс. Это как завести домашнее животное: нужно за ним ухаживать, подстраивать пороги, убирать лишние алерты и добавлять новые метрики по мере роста вашей инфраструктуры.

Главная цель — чтобы вы узнавали о проблемах первыми, а не от пользователей. Начните с одного сервера и бесплатного софта, добавьте графики, настройте один важный алерт. Уже это поднимет уровень надежности вашей системы на порядок. Ведь в современном мире тишина в чате поддержки — лучший звук для ИТ-специалиста, и достигается она именно благодаря грамотному мониторингу.

FAQ: Коротко о главном