Обнаружение SNMP-метрик: два подхода
О документе
Этот документ описывает общие принципы построения конфигурации SNMP-мониторинга с автоматическим обнаружением (LLD) и не привязан к какому-либо конкретному шаблону. Рассматриваются две схемы: «один большой walk + зависимые метрики» и «медленный walk для обнаружения + отдельные SNMP GET на каждую метрику», с плюсами, минусами и рекомендациями по выбору.
Задача
SNMP-агент устройства часто отдаёт данные в виде таблиц: строка таблицы — это объект (интерфейс, туннель, процессор, сертификат, пул буферов…), а колонки — метрики этого объекта. Количество строк заранее неизвестно и меняется со временем, поэтому состав метрик нужно обнаруживать динамически (Low-Level Discovery, LLD).
Индекс строки ({#SNMPINDEX}) — это, как правило, числовой или строковый OID-суффикс.
Зная его, любую метрику строки можно получить двумя способами:
- снять всю таблицу целиком одним
walkи затем «вытаскивать» значения отдельных ячеек препроцессингом; - обнаружить только список индексов (по колонке имён), а значение каждой метрики
снимать точечным SNMP GET по OID
колонка.{#SNMPINDEX}.
Обе схемы дают одинаковый набор метрик на выходе, но сильно различаются по нагрузке на сеть, устройство и препроцессинг, а также по гибкости расписания.
Подход A. Один большой walk + зависимые метрики
Идея
Создаётся мастер-айтем типа SNMP_AGENT с OID вида walk[<база таблицы>],
который за один запрос снимает всю таблицу (все колонки, все строки) и сохраняет её
как текст. От него заводятся:
- зависимое правило LLD — через шаг
SNMP_WALK_TO_JSONпревращает текст walk'а в JSON-массив строк с макросами ({#SNMPINDEX},{#ИМЯ}и т.п.); - зависимые прототипы метрик — через шаг
SNMP_WALK_VALUEизвлекают из того же текста одну нужную ячейку по OIDколонка.{#SNMPINDEX}.
Настройка (шаги)
- Мастер-айтем
- Тип:
SNMP Agent - SNMP OID:
walk[1.3.6.1.4.1.XXX.1.1] - Тип информации:
Text(результат — текстовый дамп таблицы) - Интервал: общий для всех метрик (например
1m)
- Тип:
- Правило обнаружения
- Тип:
Dependent item, мастер — walk-айтем из п.1, интервал0 - Препроцессинг:
SNMP walk to JSON— пары «макро → OID колонки», например{#IFNAME}→…1.1.2(колонка имён) - При необходимости — фильтр по регулярному выражению на макрос имени
- Тип:
- Прототипы метрик
- Тип:
Dependent item, мастер — тот же walk-айтем, интервал0 - Препроцессинг:
SNMP walk valueс параметромколонка.{#SNMPINDEX} - Далее обычные шаги (
Change per second,Multiplier,Discard unchangedи т.д.)
- Тип:
Плюсы
- Один сетевой запрос на всю таблицу — минимум пакетов и минимальная нагрузка на SNMP-агент устройства (данные сериализуются один раз).
- Согласованность снимка: все метрики строки получены на одно и то же состояние таблицы, без «разъезжания» по времени между колонками.
- Простая первоначальная настройка: одна walk-метрика «накрывает» всю таблицу.
- Эффективно при очень большом числе строк и частом опросе:
GET-ов потребовалось быстрок × колонок, а здесь — один bulk-запрос.
Минусы
- Стоимость индексации и память (главный недостаток). Когда к одному большому
walk-дампу привязано несколько зависимых метрик, текст индексируется, поэтому
сам поиск нужной ячейки (
SNMP_WALK_VALUE) выполняется быстро — полного пересканирования на каждую метрику не происходит. Однако за это приходится платить: для ускорения поиска требуется построить индекс — разобрать дамп и разместить в памяти значительное число объектов (по сути map/hash по OID-ам и строкам). Именно построение и хранение этой структуры, а также проходыSNMP_WALK_TO_JSON(и, возможно, JavaScript) формируют основную нагрузку на CPU и потребление памяти. - Единое расписание для всех метрик. Зависимые айтемы не имеют собственного интервала — все они наследуют частоту мастер-walk'а. Нельзя опрашивать «состояние» раз в 10 секунд, а редко меняющийся счётчик ошибок — раз в 5 минут.
- Транспортный и storage-перерасход. Устройство отдаёт десятки тысяч varbind'ов,
а в истории master-айтема хранится огромный текстовый дамп (
Text/trends=0), причём большая часть снятых колонок может вообще никем не использоваться. - Масштабирование стоимости: рост числа строк увеличивает и объём текста, и
размер/стоимость построения индекса в памяти — нагрузка растёт вместе с
строк × метрик × размер текста.
Когда выбирать
- Таблица большая, строк много, и нужен частый согласованный снимок всей таблицы.
- Важна минимизация числа запросов к устройству (слабый/медленный SNMP-агент).
- Метрик на строку немного, либо все они действительно нужны с одной частотой.
- Нет дефицита CPU и памяти. Поскольку основные издержки подхода — построение индекса и хранение объектов в памяти, схема полностью оправдана, когда запас ресурсов препроцессинга достаточен и на первом месте стоит согласованность снимка и минимум запросов к устройству.
Подход B. Медленный discovery-walk + SNMP GET на каждую метрику
Идея
Ключевое наблюдение: walk нужен только для перечисления строк (индексов), а не для сбора значений. Индексы меняются редко, а значения — то, что нужно снимать часто. Поэтому:
- walk'уется только колонка имён (одна колонка, а не вся таблица) и редко (например раз в 10 минут — час);
- каждый прототип метрики — это самостоятельный
SNMP_AGENT-айтем с OIDколонка.{#SNMPINDEX}и собственным интервалом. На момент создания{#SNMPINDEX}подставляется в OID, и каждый опрос превращается в точечный SNMP GET.
Настройка (шаги)
- Мастер-айтем обнаружения
- Тип:
SNMP Agent - SNMP OID:
walk[1.3.6.1.4.1.XXX.1.1.2]— только колонка имён/индексов - Тип информации:
Text - Интервал: редкий (
10m,30m,1h) — состав строк меняется нечасто
- Тип:
- Правило обнаружения
- Тип:
Dependent item, мастер — walk колонки имён, интервал0 - Препроцессинг:
SNMP walk to JSON— достаточно одной пары «макро имени → OID той же колонки имён» ({#SNMPINDEX}формируется автоматически) - Фильтр по регулярному выражению — если нужны не все строки
- Keep lost resources period — побольше (например
1d), чтобы единичный сбой walk'а не удалил уже созданные метрики
- Тип:
- Прототипы метрик
- Тип:
SNMP Agent(не зависимый!) - SNMP OID:
1.3.6.1.4.1.XXX.1.1.5.{#SNMPINDEX}— конкретная колонка + индекс - Интервал: индивидуальный для каждой метрики
- Тип информации: числовой (
Unsigned/Float) - Препроцессинг минимальный: для счётчиков —
Change per second+Multiplier, для gauge — ничего илиDiscard unchanged. ШагSNMP_WALK_VALUEне нужен.
- Тип:
Рекомендуемые интервалы (эвристика)
| Класс метрики | Примеры | Интервал |
|---|---|---|
| Критичные состояния | State, link up/down, Uptime |
30s–1m |
| Gauges / медленные | температура, загрузка, пулы буферов | 1m |
| Трафиковые счётчики | RxByte/TxByte, packets (bps) | 1m–3m |
| Редкие/аварийные счётчики | ошибки, discard, malformed | 3m–5m |
| Почти статические | срок действия сертификата, инвентарь | 4h–1d |
Плюсы
- Резкое снижение нагрузки на препроцессинг.
SNMP_WALK_VALUEисчезает полностью: значение приходит готовым из GET-запроса, остаётся 0–2 лёгких шага. Не нужно строить и держать в памяти большой индекс по всему дампу таблицы — устраняется главный узел расхода CPU и памяти подхода A. - Независимое расписание. Каждую метрику можно опрашивать со своей частотой: состояние — часто, редкие счётчики ошибок и сертификаты — редко.
- Меньше трафика и истории. По сети ходят только нужные колонки; master-айтем (текстовый дамп) снимается редко и содержит одну колонку имён, а не всю таблицу.
- Локальность сбоев. Недоступность одной метрики не роняет весь снимок таблицы.
Минусы
- Много мелких запросов вместо одного bulk.
строк × метрикSNMP GET-пакетов. Для очень больших таблиц это может создать заметное число запросов к агенту; лечится укрупнением интервалов редких метрик и (при необходимости) гибридной схемой. - Задержка обнаружения. Новые строки появляются в пределах интервала discovery-walk'а (например 10 минут), а не мгновенно.
- Нет атомарности снимка. Колонки одной строки снимаются в разные моменты — для строго согласованных мгновенных срезов это может быть важно.
- Сброс истории при миграции. Перевод айтема из
DependentвSNMP Agentобнуляет его историю (ключ остаётся прежним — триггеры и дашборды сохраняются, ноChange per secondпропустит первый отсчёт).
Когда выбирать
- Метрик на строку много, и им нужны разные интервалы опроса.
- Нагрузка на препроцессинг (CPU) — узкое место.
- Состав строк меняется нечасто, а мгновенное обнаружение не критично.
- Устройство легко отвечает на точечные GET-запросы.
Сводное сравнение
| Критерий | A: один walk + dependent | B: discovery-walk + GET |
|---|---|---|
| Сетевых запросов на цикл | 1 (bulk) | много (по одному на метрику) |
| Нагрузка на препроцессинг | высокая (построение/хранение индекса по всему дампу) | низкая (0–2 лёгких шага, без индекса) |
| Расписание метрик | общее (от мастера) | индивидуальное |
| Атомарность снимка таблицы | да | нет |
| Скорость обнаружения новых строк | = интервал мастера | = интервал discovery-walk'а |
| Размер истории master-айтема | большой, частый | малый (колонка имён), редкий |
| Нагрузка на SNMP-агент устройства | низкая (1 сериализация) | выше (много GET) |
| Гибкость по частоте метрик | низкая | высокая |
Рекомендации
- Оцените, где узкое место. Если CPU/память грузит именно построение индекса по большому walk-дампу, а строк/метрик много — подход B обычно даёт наибольший выигрыш. При достаточном запасе ресурсов подход A остаётся вполне рабочим.
- Сохраняйте ключи метрик при переводе с A на B, чтобы триггеры, дашборды и зависимости не пришлось пересоздавать. Импортируйте новый шаблон как обновление существующего, а не через удаление/пересоздание.
- Задавайте
keep_lost_periodпобольше в подходе B, чтобы редкие сбои discovery-walk'а не удаляли рабочие метрики. - Обязательно указывайте числовой тип информации в B (в зависимых
Text-метриках подхода A он часто не требовался). - Гибрид. Если число GET-запросов в B становится проблемой, а гибкость расписания нужна, можно разбить большой walk на walk'и отдельных колонок — каждая со своим интервалом, каждая питает свои зависимые метрики. Это сохраняет bulk-семантику (один запрос на колонку), снижает стоимость препроцессинга (в каждом дампе одна колонка, а не вся таблица) и даёт частичную независимость расписания — промежуточный вариант между A и B.