Параметры парсинга событий

Развернуть всё | Свернуть всё

При создании правил парсинга событий в окне параметров нормализатора на вкладке Схема нормализации вы можете настроить правила приведения поступающих событий к формату KUMA. Доступные параметры парсинга событий описаны в таблице ниже.

Доступные параметры парсинга событий

Параметр

Описание

Название

Название правил парсинга. Максимальная длина имени: 128 символов в кодировке Unicode. Название основного правила парсинга будет использоваться в качестве названия нормализатора.

Обязательный параметр.

Тенант

Название тенанта, которому принадлежит ресурс.

Параметр недоступен для дополнительных правил парсинга.

Метод парсинга

Тип входящих событий. В зависимости от выбранного метода парсинга вы можете использовать преднастроенные правила сопоставления полей событий или задать свои правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, которые вам нужно заполнить. Доступные методы парсинга:

  • json
  • cef
  • regexp
  • syslog
  • csv
  • kv
  • xml
  • netflow
  • netflow5
  • netflow9
  • sflow5
  • ipfix
  • sql

Обязательный параметр.

Сохранить исходное событие

Сохранение исходных событий во вновь созданном нормализованном событии. Доступные значения:

  • Не сохранять – не сохранять исходное событие. Это значение используется по умолчанию.
  • При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке сервиса, так как в этом случае появление у событий непустого поля Raw будет являться признаком неполадок.

    Если поля с названиями *Address или *Date* не соответствуют правилам нормализации, такие поля игнорируются. При этом не возникает ошибка нормализации и значения полей не попадают в поле Raw нормализованного события, даже если был указан параметр Сохранить исходное событиеПри возникновении ошибок.

  • Всегда – сохранять сырое событие в поле Raw нормализованного события.

Обязательный параметр. Параметр недоступен для дополнительных правил парсинга.

Сохранить дополнительные поля

Сохранение поля и значения, для которых не настроены правила сопоставления. Данные сохраняются в поле события Extra в виде массива. Нормализованные события можно искать и фильтровать по данным, хранящимся в поле Extra.

Фильтрация по данным из поля события Extra

По умолчанию дополнительные поля не сохраняются.

Обязательный параметр.

Описание

Описание ресурса. Максимальная длина описания: до 4000 символов в кодировке Unicode.

Параметр недоступен для дополнительных правил парсинга.

Примеры событий

Пример данных, которые вы хотите обработать.

Параметр недоступен для методов парсинга netflow5, netflow9, sflow5, ipfix и sql.

Если парсинг события был выполнен успешно и тип полученных из сырого события данных совпадает с типом поля KUMA, поле Примеры событий заполняется данными, полученными из сырого события. Например, значение "192.168.0.1", заключенное в кавычки, не будет отображено в поле SourceAddress. При этом значение 192.168.0.1 будет отображено в поле Примеры событий.

Сопоставление

Параметры для настройки сопоставления полей исходного события с полями события в формате KUMA:

  • Исходные данные – названия полей исходного события, которые вы хотите преобразовать в поля события KUMA.

    Если рядом с названиями полей в столбце Исходные данные нажать на кнопку wrench-new, откроется окно Преобразование, в котором вы можете с помощью кнопки Добавить преобразование создавать правила для изменения исходных данных перед записью в поля событий KUMA. Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок DragIcon рядом с ним. Для удаления правила нажмите рядом с ним на значок cross-black.

    Доступные преобразования

  • Поле KUMA – поля событий KUMA. Вы можете искать поля, вводя их названия.
  • Подпись – уникальная пользовательская метка полей событий, которые начинаются с DeviceCustom* и Flex*.

Вы можете добавлять новые строки таблицы и удалять строки таблицы. Для добавления новой строки таблицы нажмите на кнопку Добавить строку . Для удаления отдельной строки таблицы нажмите рядом с ней на значок cross. Для удаления всех строк таблицы нажмите на кнопку Очистить все.

Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.

Если размер поля события KUMA оказывается меньше длины помещаемого в него значения, значение обрезается до размера поля события.

Расширенная схема события

При нормализации событий, помимо полей стандартной схемы событий KUMA, могут быть использованы поля расширенной схемы событий. При использовании полей расширенной схемы событий сохраняется общее ограничение для максимального размера события обрабатываемого коллектором - 4 МБ. Информация о типах полей расширенной схемы событий приведена в таблице ниже.

Использование значительного количества уникальных полей расширенной схемы событий может привести к снижению производительности системы, увеличению объёма дискового пространства, необходимого для хранения событий и сложности восприятия данных.

Мы рекомендуем предварительно продумать и сформировать минимально необходимый набор дополнительных полей расширенной схемы событий и использовать его в нормализаторах и корреляции.

Чтобы использовать поля расширенной схемы событий:

  1. Откройте существующий или создайте новый нормализатор.
  2. Заполните основные параметры нормализатора.
  3. Нажмите на кнопку Добавить строку.
  4. В параметре Исходные данные укажите название исходного поля в сыром событии.
  5. В параметре Поле KUMA укажите имя создаваемого поля расширенной схемы событий.

    Поля расширенной модели данных нормализованного события

  6. Нажмите на кнопку ОК, после чего нажать на кнопку Сохранить для сохранения нормализатора событий.

Нормализатор сохранен, дополнительное поле создано. После сохранения нормализатора дополнительное поле может быть использовано в других нормализаторах и ресурсах KUMA.

Если данные, находящиеся в полях сырого события, не соответствуют типу поля KUMA, в процессе нормализации событий значение не будет сохранено, если невозможно выполнить преобразование типов данных. Например, строка test не может быть помещена в числовое поле KUMA DeviceCustomNumber1.

С точки зрения нагрузки на сервер хранения при операциях поиска событий, подготовки отчётов и других операций с событиями в хранилище наиболее предпочтительными являются поля схемы событий KUMA, после чего идут поля расширенной схемы событий, затем поля Extra.

В начало