Обогащение в нормализаторе

Развернуть все | Свернуть все

При создании правил парсинга событий в окне параметров нормализатора на вкладке Обогащение вы можете настроить правила дополнения полей нормализованного события другими данными с помощью правил обогащения. Эти правила хранятся в параметрах нормализатора, в котором они были созданы.

Чтобы создать обогащение, нужно нажать на кнопку Добавить обогащение. Правил обогащения может быть несколько. При необходимости обогащения можно удалять с помощью кнопки .

Параметры, доступные в блоке параметров правила обогащения:

• Тип источника (обязательно) – раскрывающийся список для выбора типа обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые также потребуется заполнить.

  Доступные типы источников обогащения:

  • константа

    Этот тип обогащения используется, если в поле события необходимо добавить константу. Доступные параметры типа обогащения описаны в таблице ниже.

    Доступные параметры типа обогащения

    Параметр	Описание
    Константа	Значение, которое требуется добавить в поле события. Максимальная длина значения: до 255 символов в кодировке Unicode. Если оставить поле пустым, существующее значение поля события будет удалено.
    Целевое поле	Поле события KUMA, в которое требуется поместить данные.

    Если вы используете функции обогащения событий для полей расширенной схемы с типом Строка, Число или Число с плавающей точкой с помощью константы, в поле будет добавлена константа.

    Если вы используете функции обогащения событий для полей расширенной схемы с типом Массив строк, Массив чисел или Массив чисел с плавающей точкой с помощью константы, константа будет добавлена к элементам массива.

  • dictionary

    Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь. Доступные параметры типа обогащения описаны в таблице ниже.

    Доступные параметры типа обогащения

    Параметр	Описание
    название словаря;	Словарь, из которого будут браться значения.
    Ключевые поля	Поля событий, значения которых будут использоваться для выбора записи словаря. Для добавления поля события нажмите на кнопку Добавить поле. Вы можете добавить несколько полей событий.

    Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение словарь, а в параметре Ключевые поля обогащения указано поле-массив, при передаче массива в качестве ключа словаря массив будет сериализован в строку согласно правилам сериализации одного значения в формате TSV.

    Пример: в параметре Ключевые поляобогащения используется поле расширенной схемы SA.StringArrayOne. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c". В качестве ключа в словарь будут переданы значения ['a','b','c'].

    Если в параметре Ключевые поля обогащения используется поле-массив расширенной схемы и обычное поле схемы событий, значения полей при обращении в словарь будут разделены символом «|».

    Пример: в параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne и строковое поле Code. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c", а строковое поле Code содержит последовательность символов myCode. В качестве ключа в словарь будут переданы значения ['a','b','c']|myCode.

  • table

    Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Таблица.

    Когда этот тип обогащения выбран в раскрывающемся списке Название словаря, выберите словарь, который предоставит значения. В группе параметров Ключевые поля нажмите на кнопку Добавить поле и выберите поля событий, значения которых используются для выбора записи словаря.

    Также в таблице Сопоставление необходимо настроить, из каких полей словаря и в какие поля события будут передаваться данные:

    • В столбце Поле словаря необходимо выбрать поле словаря. Доступные поля зависят от выбранного ресурса словаря.
    • В столбце Поле KUMA необходимо выбрать поле события, в которое следует записать значение. Для некоторых выбранных полей (*custom* и *flex*) в столбце Подпись можно задать название для помещаемых в них данных.

    Строки в таблицу можно добавлять с помощью кнопки Добавить элемент. Столбцы можно удалить, нажав на кнопку .

  • событие

    Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Доступные параметры типа обогащения описаны в таблице ниже.

    Доступные параметры типа обогащения

    Параметр	Описание
    Целевое поле	Поле события KUMA, в которое требуется поместить данные.
    Исходное поле	Поле события, значение которого будет записано в целевое поле.

    Если нажать на кнопку , откроется окно Преобразование, в котором вы можете с помощью кнопки Добавить преобразование создавать правила для изменения исходных данных перед записью в поля событий KUMA. Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок рядом с ним. Для удаления правила нажмите рядом с ним на значок .

    Доступные преобразования

    Преобразования – это изменения, которые применяются к значению перед записью в поле события. Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

    • entropy используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования является число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
    • lower – используется для перевода всех символов значения в нижний регистр
    • upper – используется для перевода всех символов значения в верхний регистр
    • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования отображается поле, в котором вам нужно указать регулярное выражение RE2.
    • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования отображаются поля Начало и Конец, в которых вам нужно указать диапазон позиций.
    • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
      • Символы на замену – последовательность символов, которую требуется заменить.
      • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
    • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования отображается поле Символы, в котором вам нужно указать символы. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
    • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
    • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования отображается поле Константа, в котором вам нужно указать символы.
    • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования отображаются следующие поля:
      • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
      • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
    • Конвертация закодированных строк в текст:
      • decodeHexString – используется для конвертации HEX-строки в текст.
      • decodeBase64String – используется для конвертации Base64-строки в текст.
      • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

      При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

      При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

      Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, строка будет обрезана до размера этого поля события.

    Преобразования при использовании расширенной схемы событий

    Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

    • Для дополнительного поля с типом Строка доступны все типы преобразований.
    • для полей с типами Число и Число с плавающей точкой доступны следующие типы преобразования: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String и decodeBase64URLString.
    • для полей с типами Массив строк, Массив чисел и Массив чисел с плавающей точкой доступны следующие типы преобразования: append и prepend.

    При использовании обогащения событий, у которых в качестве параметра Тип источника данных выбрано значение событие, а в качестве аргументов используются поля расширенной схемы событий, необходимо учесть следующие особенности:

    • Если исходное поле расширенной схемы событий имеет тип Массив строк, а целевое поле расширенной схемы событий имеет тип Строка, значения будут размещены в целевом поле расширенной схемы событий в формате TSV.

      Пример: в поле расширенной схемы событий SA.StringArray, находятся значения «string1», «string2», «string3». Выполняются операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий DeviceCustomString1. В поле расширенной схемы событий DeviceCustomString1 будут находиться значения ["string1", "string2", "string3"].

    • Если исходное и целевое поля расширенной схемы событий имеют тип Массив строк, значения целевого поля расширенной схемы событий будут дополнены значениями исходного поля расширенной схемы событий, а в качестве символа-разделителя будет использован символ ",".

      Пример: в поле расширенной схемы событий SA.StringArrayOne, находятся значения ["string1", "string2", "string3"], а в поле расширенной схемы событий SA.StringArrayTwo находятся значения ["string4", "string5", "string6"]. Выполняются операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий SA.StringArrayTwo. В поле расширенной схемы событий SA.StringArrayTwo будут находиться значения ["string4", "string5", "string6", "string1", "string2", "string3"].

  • шаблон

    Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Рекомендуется согласовывать значение и размер поля между собой. Доступные параметры типа обогащения описаны в таблице ниже.

    Доступные параметры типа обогащения

    Параметр	Описание
    Шаблон	Шаблон Go. Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт, например Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.
    Целевое поле	Поле события KUMA, в которое требуется поместить данные.

    Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение шаблон, целевым полем является поле с типом Строка, а исходным полем является поле расширенной схемы событий, содержащее массив строк, в шаблоне может быть использован один из следующих примеров:

    • {{.SA.StringArrayOne}}
    • {{- range $index, $element := . SA.StringArrayOne -}}

      {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

    Для преобразования в шаблоне данных поля массива в формат TSV необходимо использовать функцию toString, например:

    template {{toString .SA.StringArray}}

• Целевое поле (обязательно) – раскрывающийся список для выбора поля события KUMA, в которое следует поместить данные.

  Этот параметр недоступен для типа источника обогащения таблица.

В начало