Product SiteDocumentation Site

12.4. Мониторинг

Мониторинг — это общее понятие, и разные его аспекты преследуют разные цели: с одной стороны, отслеживание использования машинных ресурсов позволяет предсказать их исчерпание и необходимость их увеличения; с другой стороны, уведомление администратора, когда сервис стал недоступен или работает некорректно, означает, что возникающие проблемы будут устраняться скорее.
Munin покрывает первую область, отображая графики истории ряда параметров (используемой ОЗУ, занятого дискового пространства, загрузки процессора, сетевого трафика, нагрузки Apache/MySQL, и т. п.). Nagios покрывает вторую область, регулярно проверяя, что сервисы работают и доступны, и посылая аварийные уведомления по соответствующим каналам (e-mail, текстовые сообщения и т. п.). Оба построены модульно, что позволяет легко создавать новые плагины для мониторинга специфических параметров и сервисов.

АЛЬТЕРНАТИВА Zabbix, комплексный инструмент мониторинга

Хотя Munin и Nagios используются очень широко, они — не единственные игроки на поле мониторинга, и каждый из них выполняет только половину задачи (отображение графиков с одной стороны, аварийные оповещения с другой). Zabbix же объединяет обе части мониторинга; у него также есть веб-интерфейс для настройки наиболее общих аспектов. Он развивался скачкообразно на протяжении последних нескольких лет и теперь может считаться достойным конкурентом. На сервере следует установить zabbix-server-pgsql (или zabbix-server-mysql), возможно вместе с zabbix-frontend-php, чтобы получить веб-интерфейс. На узлах, которые надлежит мониторить, следует установить zabbix-agent, отправляющий данные на сервер.
→ https://zabbix.com/

АЛЬТЕРНАТИВА Icinga, ответвление Nagios

Из-за расхождения во взглядах на модель разработки Nagios (который контролируется компанией) часть разработчиков создала ответвление Nagios под названием Icinga. Icinga остаётся совместимым — по крайней мере пока — с настройками и плагинами Nagios, но добавляет дополнительный функционал.
→ https://icinga.com/

12.4.1. Настройка Munin

Назначение Munin — наблюдать за множеством машин, и вполне естественно, что он имеет клиент-серверную архитектуру. Центральный узел — построитель графиков — собирает данные со всех наблюдаемых узлов и создаёт графики истории.

12.4.1.1. Настройка узлов для мониторинга

Первый шаг — установка пакета munin-node. Демон, устанавливаемый этим пакетом, слушает порт 4949 и отправляет данные, собранные всеми активными плагинами. Каждый плагин представляет собой простую программу, возвращающую описание собранных данных и последнее измеренное значение. Плагины хранятся в /usr/share/munin/plugins/, но на деле используются только те из них, символьные ссылки на которые присутствуют в /etc/munin/plugins/.
При установке пакета набор активных плагинов определяется исходя из доступного ПО и текущей конфигурации хоста. Однако эта автоматическая настройка зависит от функции, которую должен предоставлять каждый плагин, и обычно рекомендуется просмотреть и настроить результаты вручную. Просмотр галереи плагинов может быть интересным, хотя не все плагины имеют подробную документацию.
→ https://gallery.munin-monitoring.org
Однако все плагины представляют собой скрипты, и большинство из них довольно просты и хорошо прокомментированы. Таким образом просмотр /etc/munin/plugins/ — хороший способ понять, для чего нужен каждый плагин, и определиться, какие из них следует удалить. Аналогичным образом можно включить интересный плагин, найденный в /usr/share/munin/plugins/ просто создав символическую ссылку на него с помощью ln -sf /usr/share/munin/plugins/plugin /etc/munin/plugins/. Обратите внимание: если имя плагина заканчивается символом подчеркивания «_», плагину требуется параметр. Этот параметр должен храниться в имени символической ссылки; например, плагин «if_» должен быть включен с помощью символической ссылки if_eth0 тогда он будет отслеживать сетевой трафик на интерфейсе eth0.
Когда плагины настроены, следует отредактировать конфигурацию демона, описав правила контроля доступа к собранным данным. Для этого служат директивы allow в файле /etc/munin/munin-node.conf. Настройка по умолчанию — allow ^127\.0\.0\.1$, она разрешает доступ только с локального узла. Обычно администратору требуется добавить аналогичную строку, содержащую IP-адрес узла построения графиков, а затем перезапустить демон с помощью systemctl restart munin-node.

УГЛУБЛЯЕМСЯ Создание локальных плагинов

Munin содержит подробную документацию о том, как плагины должны себя вести, и как разрабатывать новые плагины.
→ https://guide.munin-monitoring.org/en/latest/plugin/writing.html
Лучше всего тестировать плагин, запуская его в тех же самых условиях, в которых он будет вызываться munin-node; их можно имитировать, запустив munin-run plugin от имени суперпользователя. Возможный второй параметр этой команды (например config) передаётся как параметр плагину.
Когда плагин вызывается с параметром config, он должен описать себя, вернув набор полей: 
$ sudo munin-run load config
graph_title Load average
graph_args --base 1000 -l 0
graph_vlabel load
graph_scale no
graph_category system
load.label load
graph_info load average машины описывает, сколько процессов находится в очереди выполнения run-queue (запланировано к запуску "immediately").
load.info 5 minute load average
Разные доступные поля описаны в «Справочнике по плагинам», доступному как часть «Руководства Munin».
→ https://munin.readthedocs.org/en/latest/reference/plugin.html
Будучи вызванным без параметра, плагин просто возвращает последние измеренные значения; к примеру, вызов sudo munin-run load может вернуть load.value 0.12.
Наконец, когда плагин вызывается с параметром autoconf, он должен вернуть «yes» (и статус выхода 0) или «no» (и статус выхода 1) в зависимости от того, следует ли включать плагин на этом узле.

12.4.1.2. Настройка построителя графиков

«Построитель графиков» — это просто компьютер, собирающий данные и создающий на их основании графики. Необходимое для него программное обеспечение находится в пакете munin. Стандартная конфигурация запускает munin-cron (раз в 5 минут), который собирает данные со всех узлов, перечисленных в /etc/munin/munin.conf (по умолчанию там указан только локальный узел), сохраняет данные в файлах RRD (Round Robin Database — формат файлов, разработанный для хранения данных, меняющихся со временем), хранящихся в /var/lib/munin/, и генерирующий HTML-страницу с графиками в /var/cache/munin/www/.
Итак, все наблюдаемые машины должны быть перечислены в конфигурационном файле /etc/munin/munin.conf. Каждая машина указывается как целая секция с именем, соответствующим машине, и как минимум записью address, содержащей её IP-адрес. 
[ftp.falcot.com]
    address 192.168.0.12
    use_node_name yes
Секции могут быть более сложными и описывать дополнительные графики, которые могут быть созданы путём сочетания данных с разных машин. Примеры, приведённые в конфигурационном файле, будут неплохой начальной точкой для настройки.
Последний шаг — публикация сгенерированных страниц; для этого требуется настроить веб-сервер таким образом, чтобы содержимое /var/cache/munin/www/ было доступно на сайте. Доступ к этому сайту зачастую будет ограничен с помощью или механизма аутентификации, или правил контроля доступа по IP-адресам. Подробности см. в Раздел 11.2, «Web сервер (HTTP)».

12.4.2. Настройка Nagios

В отличие от Munin, Nagios не требует обязательной установки чего бы то ни было на наблюдаемых узлах; чаще всего Nagios используется для проверки доступности сетевых сервисов. Например, Nagios может подключиться к веб-серверу и проверить, что конкретная веб-страница может быть получена за заданное время.

12.4.2.1. Установка

Первым шагом настройки Nagios является установка пакетов nagios4 и monitoring-pluging. При установке настраивается веб-интерфейс и сервер Apache. Модули Apache authz_groupfile и auth_digest должны быть включены, для этого выполните: 
# a2enmod authz_groupfile
Considering dependency authz_core for authz_groupfile:
Module authz_core already enabled
Module authz_core already enabled
Enabling module authz_groupfile.
To activate the new configuration, you need to run:
  systemctl restart apache2
# a2enmod auth_digest
Considering dependency authn_core for auth_digest:
Module authn_core already enabled
Enabling module auth_digest.
To activate the new configuration, you need to run:
  systemctl restart apache2
# systemctl restart apache2
Для добавления других пользователей надо всего лишь прописать их в файле /etc/nagios4/hdigest.users.
Открыв в обозревателе http://server/nagios4/, можно попасть в веб-интерфейс; заметьте, что Nagios отслеживает некоторые параметры машины, на которой он запущен. Однако некоторые интерактивные функции, такие как добавление комментариев к узлу, не работают. Они выключены в конфигурации Nagios по умолчанию, которая сильно ограничена в целях безопасности.
Для включения некоторых функций требуется отредактировать /etc/nagios4/nagios.cfg. Нам также потребуется дать права на запись в каталог, используемый Nagios, с помощью таких команд: 
# systemctl stop nagios4
# dpkg-statoverride --update --add nagios www-data 2710 /var/lib/nagios4/rw
# dpkg-statoverride --update --add nagios nagios 751 /var/lib/nagios4
# systemctl start nagios4

12.4.2.2. Настройка

Веб-интерфейс Nagios довольно симпатичный, но не позволяет менять настройки или добавлять наблюдаемые узлы и сервисы. Вся конфигурация управляется через файлы, указанные в центральном конфигурационном файле /etc/nagios4/nagios.cfg.
В эти файлы не стоит погружаться, не вникнув в некоторые базовые принципы Nagios. В конфигурации перечисляются объекты следующих типов:
  • host (узел) — машина, которую необходимо наблюдать;
  • hostgroup (группа узлов) — набор узлов, которые следует сгруппировать вместе при отображении или для учёта некоторых общих элементов конфигурации;
  • service (сервис) — тестируемый элемент, относящийся к узлу или группе узлов. Это, как правило, проверка сетевого сервиса, хотя сюда может входить и проверка, держатся ли некоторые параметры на приемлемом уровне (например свободное дисковое пространство или загрузка процессора);
  • servicegroup (группа сервисов) — набор сервисов, которые следует сгруппировать вместе при отображении;
  • contact (контакт) — лицо, которому следует направлять аварийные предупреждения;
  • contactgroup (группа контактов) — набор таких контактов;
  • timeperiod (временной интервал) — промежуток времени, в течение которого должны быть проверены некоторые сервисы;
  • command (команда) — командная строка, выполняемая для проверки данного сервиса.
У каждого объекта, в соответствии с его типом, есть набор свойств, которые можно менять. Полный список слишком длинный, чтобы приводить его здесь, поэтому отметим только самые важные свойства и отношения между объектами.
Сервис service использует команду command для проверки состояния некой функциональности на узле host (или группе узлов) hostgroup) на протяжении временного интервала timeperiod. В случае проблемы Nagios отправляет предупреждение всем членам группы контактов contactgroup, привязанной к сервису. Предупреждение отправляется каждому члену в соответствии с каналом, описанным в соответствующем объекте контакта contact.
Система наследования позволяет легко разделять наборы свойств между объектами без дублирования информации. Более того, начальная конфигурация уже включает набор стандартных объектов; зачастую для определения новых узлов, сервисов и контактов достаточно сделать их потомками стандартных объектов. Файлы в /etc/nagios4/conf.d/ — хороший источник информации о том, как это работает.
Администраторы Falcot Corp используют следующую конфигурацию:

Пример 12.5. Файл /etc/nagios4/conf.d/falcot.cfg

define contact{
    name                            generic-contact
    service_notification_period     24x7
    host_notification_period        24x7
    service_notification_options    w,u,c,r
    host_notification_options       d,u,r
    service_notification_commands   notify-service-by-email
    host_notification_commands      notify-host-by-email
    register                        0 ; Template only
}
define contact{
    use             generic-contact
    contact_name    rhertzog
    alias           Raphael Hertzog
    email           hertzog@debian.org
}
define contact{
    use             generic-contact
    contact_name    rmas
    alias           Roland Mas
    email           lolando@debian.org
}

define contactgroup{
    contactgroup_name     falcot-admins
    alias                 Falcot Administrators
    members               rhertzog,rmas
}

define host{
    use                   generic-host ; Name of host template to use
    host_name             www-host
    alias                 www.falcot.com
    address               192.168.0.5
    contact_groups        falcot-admins
    hostgroups            debian-servers,ssh-servers
}
define host{
    use                   generic-host ; Name of host template to use
    host_name             ftp-host
    alias                 ftp.falcot.com
    address               192.168.0.6
    contact_groups        falcot-admins
    hostgroups            debian-servers,ssh-servers
}

# команда 'check_ftp' с пользовательскими параметрами
define command{
    command_name          check_ftp2
    command_line          /usr/lib/nagios/plugins/check_ftp -H $HOSTADDRESS$ -w 20 -c 30 -t 35
}

# Стандартный сервис Falcot
define service{
    name                  falcot-service
    use                   generic-service
    contact_groups        falcot-admins
    register              0
}

# Сервисы, проверяемые на www-host
define service{
    use                   falcot-service
    host_name             www-host
    service_description   HTTP
    check_command         check_http
}
define service{
    use                   falcot-service
    host_name             www-host
    service_description   HTTPS
    check_command         check_https
}
define service{
    use                   falcot-service
    host_name             www-host
    service_description   SMTP
    check_command         check_smtp
}

# Сервисы, проверяемые на ftp-host
define service{
    use                   falcot-service
    host_name             ftp-host
    service_description   FTP
    check_command         check_ftp2
}
This configuration file describes two monitored hosts. The first one is the web server, and the checks are made on the HTTP (80) and secure-HTTP (443) ports. Nagios also checks that an SMTP server runs on port 25. The second host is the FTP server, and the check includes making sure that a reply comes within 20 seconds. Beyond this delay, a warning is emitted; beyond 30 seconds, the alert is deemed critical. The Nagios web interface also shows that the SSH service is monitored: this comes from the hosts belonging to the ssh-servers hostgroup.
Обратите внимание на использование наследования: то, что объект наследует другому объекту, указывается с помощью «use parent-name» (имя-родителя). Родительский объект должен быть идентифицируемым, для чего ему должно быть установлено свойство «name identifier» (идентификатор). Если родительский объект не является реальным объектом, а служит только для создания потомков, следует установить ему свойство «register 0»; оно укажет Nagios, что объект не надо учитывать, и тогда нехватка некоторых параметров, которые в ином случае были бы обязательными, будет проигнорирована.

ДОКУМЕНТАЦИЯ Список свойств объектов

Более глубокое понимание различных способов настройки Nagios можно получить с помощью документации, размещённой на https://assets.nagios.com/downloads/nagioscore/docs/nagioscore/4/en/. Она включает список всех типов объектов со всеми свойствами, которыми они могут быть наделены. Там же описано, как создавать новые плагины.

УГЛУБЛЯЕМСЯ Удалённые проверки с помощью NRPE

Многие плагины Nagios позволяют проверять ряд параметров локально на узле; если требуется производить такие проверки на многих машинах, в то время как центральная установка будет их собирать информацию, нужно установить плагин NRPE (Nagios Remote Plugin Executor). Пакет nagios-nrpe-plugin должен быть установлен на сервере Nagios, а nagios-nrpe-server — на узлах, где следует запускать локальные проверки. Последний читает конфигурацию из /etc/nagios/nrpe.cfg. Этот файл должен содержать список проверок, которые могут запускаться удалённо, и IP-адреса машин, которые могут их запускать. На стороне Nagios эти удалённые проверки включаются путём добавления соответствующих сервисов с использованием новой команды check_nrpe.