Skip to content

Обнаружение SNMP-метрик: два подхода

О документе

Этот документ описывает общие принципы построения конфигурации SNMP-мониторинга с автоматическим обнаружением (LLD) и не привязан к какому-либо конкретному шаблону. Рассматриваются две схемы: «один большой walk + зависимые метрики» и «медленный walk для обнаружения + отдельные SNMP GET на каждую метрику», с плюсами, минусами и рекомендациями по выбору.

Задача

SNMP-агент устройства часто отдаёт данные в виде таблиц: строка таблицы — это объект (интерфейс, туннель, процессор, сертификат, пул буферов…), а колонки — метрики этого объекта. Количество строк заранее неизвестно и меняется со временем, поэтому состав метрик нужно обнаруживать динамически (Low-Level Discovery, LLD).

Индекс строки ({#SNMPINDEX}) — это, как правило, числовой или строковый OID-суффикс. Зная его, любую метрику строки можно получить двумя способами:

  1. снять всю таблицу целиком одним walk и затем «вытаскивать» значения отдельных ячеек препроцессингом;
  2. обнаружить только список индексов (по колонке имён), а значение каждой метрики снимать точечным SNMP GET по OID колонка.{#SNMPINDEX}.

Обе схемы дают одинаковый набор метрик на выходе, но сильно различаются по нагрузке на сеть, устройство и препроцессинг, а также по гибкости расписания.


Подход A. Один большой walk + зависимые метрики

Идея

Создаётся мастер-айтем типа SNMP_AGENT с OID вида walk[<база таблицы>], который за один запрос снимает всю таблицу (все колонки, все строки) и сохраняет её как текст. От него заводятся:

  • зависимое правило LLD — через шаг SNMP_WALK_TO_JSON превращает текст walk'а в JSON-массив строк с макросами ({#SNMPINDEX}, {#ИМЯ} и т.п.);
  • зависимые прототипы метрик — через шаг SNMP_WALK_VALUE извлекают из того же текста одну нужную ячейку по OID колонка.{#SNMPINDEX}.

Настройка (шаги)

  1. Мастер-айтем
    • Тип: SNMP Agent
    • SNMP OID: walk[1.3.6.1.4.1.XXX.1.1]
    • Тип информации: Text (результат — текстовый дамп таблицы)
    • Интервал: общий для всех метрик (например 1m)
  2. Правило обнаружения
    • Тип: Dependent item, мастер — walk-айтем из п.1, интервал 0
    • Препроцессинг: SNMP walk to JSON — пары «макро → OID колонки», например {#IFNAME} → …1.1.2 (колонка имён)
    • При необходимости — фильтр по регулярному выражению на макрос имени
  3. Прототипы метрик
    • Тип: Dependent item, мастер — тот же walk-айтем, интервал 0
    • Препроцессинг: SNMP walk value с параметром колонка.{#SNMPINDEX}
    • Далее обычные шаги (Change per second, Multiplier, Discard unchanged и т.д.)

Плюсы

  • Один сетевой запрос на всю таблицу — минимум пакетов и минимальная нагрузка на SNMP-агент устройства (данные сериализуются один раз).
  • Согласованность снимка: все метрики строки получены на одно и то же состояние таблицы, без «разъезжания» по времени между колонками.
  • Простая первоначальная настройка: одна walk-метрика «накрывает» всю таблицу.
  • Эффективно при очень большом числе строк и частом опросе: GET-ов потребовалось бы строк × колонок, а здесь — один bulk-запрос.

Минусы

  • Стоимость индексации и память (главный недостаток). Когда к одному большому walk-дампу привязано несколько зависимых метрик, текст индексируется, поэтому сам поиск нужной ячейки (SNMP_WALK_VALUE) выполняется быстро — полного пересканирования на каждую метрику не происходит. Однако за это приходится платить: для ускорения поиска требуется построить индекс — разобрать дамп и разместить в памяти значительное число объектов (по сути map/hash по OID-ам и строкам). Именно построение и хранение этой структуры, а также проходы SNMP_WALK_TO_JSON (и, возможно, JavaScript) формируют основную нагрузку на CPU и потребление памяти.
  • Единое расписание для всех метрик. Зависимые айтемы не имеют собственного интервала — все они наследуют частоту мастер-walk'а. Нельзя опрашивать «состояние» раз в 10 секунд, а редко меняющийся счётчик ошибок — раз в 5 минут.
  • Транспортный и storage-перерасход. Устройство отдаёт десятки тысяч varbind'ов, а в истории master-айтема хранится огромный текстовый дамп (Text/trends=0), причём большая часть снятых колонок может вообще никем не использоваться.
  • Масштабирование стоимости: рост числа строк увеличивает и объём текста, и размер/стоимость построения индекса в памяти — нагрузка растёт вместе с строк × метрик × размер текста.

Когда выбирать

  • Таблица большая, строк много, и нужен частый согласованный снимок всей таблицы.
  • Важна минимизация числа запросов к устройству (слабый/медленный SNMP-агент).
  • Метрик на строку немного, либо все они действительно нужны с одной частотой.
  • Нет дефицита CPU и памяти. Поскольку основные издержки подхода — построение индекса и хранение объектов в памяти, схема полностью оправдана, когда запас ресурсов препроцессинга достаточен и на первом месте стоит согласованность снимка и минимум запросов к устройству.

Подход B. Медленный discovery-walk + SNMP GET на каждую метрику

Идея

Ключевое наблюдение: walk нужен только для перечисления строк (индексов), а не для сбора значений. Индексы меняются редко, а значения — то, что нужно снимать часто. Поэтому:

  • walk'уется только колонка имён (одна колонка, а не вся таблица) и редко (например раз в 10 минут — час);
  • каждый прототип метрики — это самостоятельный SNMP_AGENT-айтем с OID колонка.{#SNMPINDEX} и собственным интервалом. На момент создания {#SNMPINDEX} подставляется в OID, и каждый опрос превращается в точечный SNMP GET.

Настройка (шаги)

  1. Мастер-айтем обнаружения
    • Тип: SNMP Agent
    • SNMP OID: walk[1.3.6.1.4.1.XXX.1.1.2] — только колонка имён/индексов
    • Тип информации: Text
    • Интервал: редкий (10m, 30m, 1h) — состав строк меняется нечасто
  2. Правило обнаружения
    • Тип: Dependent item, мастер — walk колонки имён, интервал 0
    • Препроцессинг: SNMP walk to JSON — достаточно одной пары «макро имени → OID той же колонки имён» ({#SNMPINDEX} формируется автоматически)
    • Фильтр по регулярному выражению — если нужны не все строки
    • Keep lost resources period — побольше (например 1d), чтобы единичный сбой walk'а не удалил уже созданные метрики
  3. Прототипы метрик
    • Тип: SNMP Agent (не зависимый!)
    • SNMP OID: 1.3.6.1.4.1.XXX.1.1.5.{#SNMPINDEX} — конкретная колонка + индекс
    • Интервал: индивидуальный для каждой метрики
    • Тип информации: числовой (Unsigned/Float)
    • Препроцессинг минимальный: для счётчиков — Change per second + Multiplier, для gauge — ничего или Discard unchanged. Шаг SNMP_WALK_VALUE не нужен.

Рекомендуемые интервалы (эвристика)

Класс метрики Примеры Интервал
Критичные состояния State, link up/down, Uptime 30s–1m
Gauges / медленные температура, загрузка, пулы буферов 1m
Трафиковые счётчики RxByte/TxByte, packets (bps) 1m–3m
Редкие/аварийные счётчики ошибки, discard, malformed 3m–5m
Почти статические срок действия сертификата, инвентарь 4h–1d

Плюсы

  • Резкое снижение нагрузки на препроцессинг. SNMP_WALK_VALUE исчезает полностью: значение приходит готовым из GET-запроса, остаётся 0–2 лёгких шага. Не нужно строить и держать в памяти большой индекс по всему дампу таблицы — устраняется главный узел расхода CPU и памяти подхода A.
  • Независимое расписание. Каждую метрику можно опрашивать со своей частотой: состояние — часто, редкие счётчики ошибок и сертификаты — редко.
  • Меньше трафика и истории. По сети ходят только нужные колонки; master-айтем (текстовый дамп) снимается редко и содержит одну колонку имён, а не всю таблицу.
  • Локальность сбоев. Недоступность одной метрики не роняет весь снимок таблицы.

Минусы

  • Много мелких запросов вместо одного bulk. строк × метрик SNMP GET-пакетов. Для очень больших таблиц это может создать заметное число запросов к агенту; лечится укрупнением интервалов редких метрик и (при необходимости) гибридной схемой.
  • Задержка обнаружения. Новые строки появляются в пределах интервала discovery-walk'а (например 10 минут), а не мгновенно.
  • Нет атомарности снимка. Колонки одной строки снимаются в разные моменты — для строго согласованных мгновенных срезов это может быть важно.
  • Сброс истории при миграции. Перевод айтема из Dependent в SNMP Agent обнуляет его историю (ключ остаётся прежним — триггеры и дашборды сохраняются, но Change per second пропустит первый отсчёт).

Когда выбирать

  • Метрик на строку много, и им нужны разные интервалы опроса.
  • Нагрузка на препроцессинг (CPU) — узкое место.
  • Состав строк меняется нечасто, а мгновенное обнаружение не критично.
  • Устройство легко отвечает на точечные GET-запросы.

Сводное сравнение

Критерий A: один walk + dependent B: discovery-walk + GET
Сетевых запросов на цикл 1 (bulk) много (по одному на метрику)
Нагрузка на препроцессинг высокая (построение/хранение индекса по всему дампу) низкая (0–2 лёгких шага, без индекса)
Расписание метрик общее (от мастера) индивидуальное
Атомарность снимка таблицы да нет
Скорость обнаружения новых строк = интервал мастера = интервал discovery-walk'а
Размер истории master-айтема большой, частый малый (колонка имён), редкий
Нагрузка на SNMP-агент устройства низкая (1 сериализация) выше (много GET)
Гибкость по частоте метрик низкая высокая

Рекомендации

  1. Оцените, где узкое место. Если CPU/память грузит именно построение индекса по большому walk-дампу, а строк/метрик много — подход B обычно даёт наибольший выигрыш. При достаточном запасе ресурсов подход A остаётся вполне рабочим.
  2. Сохраняйте ключи метрик при переводе с A на B, чтобы триггеры, дашборды и зависимости не пришлось пересоздавать. Импортируйте новый шаблон как обновление существующего, а не через удаление/пересоздание.
  3. Задавайте keep_lost_period побольше в подходе B, чтобы редкие сбои discovery-walk'а не удаляли рабочие метрики.
  4. Обязательно указывайте числовой тип информации в B (в зависимых Text-метриках подхода A он часто не требовался).
  5. Гибрид. Если число GET-запросов в B становится проблемой, а гибкость расписания нужна, можно разбить большой walk на walk'и отдельных колонок — каждая со своим интервалом, каждая питает свои зависимые метрики. Это сохраняет bulk-семантику (один запрос на колонку), снижает стоимость препроцессинга (в каждом дампе одна колонка, а не вся таблица) и даёт частичную независимость расписания — промежуточный вариант между A и B.

См. также