Шаг 3. Парсинг событий

Это обязательный шаг мастера установки. На вкладке мастера установки Парсинг событий следует выбрать или создать нормализатор, в параметрах которого будут определены правила преобразования сырых событий в нормализованные. В нормализатор можно добавить несколько правил парсинга событий, реализуя таким образом сложную логику обработки событий. Вы можете протестировать работу нормализатора, используя тестовые события.

При создании нового нормализатора в мастере установки по умолчанию он будет сохранен в наборе ресурсов для коллектора и не сможет быть использован в других коллекторах. С помощью флажка Сохранить нормализатор вы можете создать нормализатор в виде отдельного ресурса, в таком случае нормализатор будет доступен для выбора в других коллекторах тенанта.

Если вы, меняя параметры набора ресурсов коллектора, измените или удалите преобразования в подключенном к нему нормализаторе, правки не сохранятся, а сам нормализатор может быть поврежден. При необходимости изменить преобразования в нормализаторе, который уже является частью сервиса, вносите правки непосредственно в нормализатор в разделе веб-интерфейса Ресурсы → Нормализаторы.

Добавление нормализатора

Чтобы добавить в набор ресурсов существующий нормализатор:

1. Нажмите на кнопку Добавить парсинг событий.

   Откроется окно Основной парсинг событий с параметрами нормализатора и активной вкладкой Схема нормализации.

2. В раскрывающемся списке Нормализатор выберите нужный нормализатор. В раскрывающемся списке доступны нормализаторы, принадлежащие тенанту коллектора и Общему тенанту.

   В окне Основной парсинг событий отобразятся параметры выбранного нормализатора.

   Если вы хотите отредактировать параметры нормализатора, в раскрывающемся списке Нормализатор нажмите на значок карандаша рядом с названием нужного нормализатора. Откроется окно Редактирование нормализатора с темным кружком. Если вы нажмете на темный кружок, откроется окно Основной парсинг событий и параметры нормализатора будут доступны для редактирования.

   Если вы хотите настроить параметры дополнительного парсинга, наведите курсор на темный кружок и нажмите на появившийся значок плюса, откроется окно Дополнительный парсинг событий. Подробнее о настройке дополнительного парсинга событий см. ниже.

3. Нажмите ОК.

На вкладке мастера установки Основной парсинг событий отображается нормализатор в виде темного кружка. Можно нажать на кружок, чтобы открыть параметры нормализатора для просмотра.

Чтобы создать в коллекторе новый нормализатор:

1. На шаге Парсинг событий на вкладке Схемы парсинга нажмите на кнопку Добавить парсинг событий.

   Откроется окно Основной парсинг событий с параметрами нормализатора и активной вкладкой Схема нормализации.

2. Если хотите сохранить нормализатор в качестве отдельного ресурса, установите флажок Сохранить нормализатор - таким образом сохраненный нормализатор будет доступен для использования в других коллекторах тенанта. По умолчанию флажок снят.
3. Введите в поле Название уникальное имя для нормализатора. Название должно содержать от 1 до 128 символов в кодировке Unicode.
4. В раскрывающемся списке Метод парсинга выберите тип получаемых событий. В зависимости от выбора можно будет воспользоваться преднастроенными правилами сопоставления полей событий или задать свои собственные правила. При выборе некоторых методов парсинга могут стать доступны дополнительные параметры, требующие заполнения.

   Доступные методы парсинга:

   • json

     Этот метод парсинга используется для обработки данных в формате JSON, в которых каждый объект, включая его вложенные объекты, занимает одну строку файла.

     При обработке файлов с иерархически выстроенными данными вы можете обращаться к полям вложенных объектов, указывая названия параметров поочередно через точку. Например, к параметру username из строки "user":{"username":"system:node:example-01"} можно обратиться с помощью запроса user.username.

     Файлы обрабатываются построчно. Многострочные объекты с вложенными структурами могут быть нормализованны неправильно.

     В сложных схемах нормализации, где используются дополнительные нормализаторы, все вложенные объекты обрабатываются на первом уровне нормализации за исключением случаев, когда условия дополнительной нормализации не заданы и обрабатываемое событие целиком передается в дополнительный нормализатор.

     В качестве разделителя строк вы можете использовать символы \n и \r\n. Строки должны быть в кодировке UTF-8.

     Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.

   • cef

     Этот метод парсинга используется для обработки данных в формате CEF.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

   • regexp

     Этот метод парсинга используется для создания собственных правил обработки данных в формате с использованием регулярных выражений.

     Вам нужно добавить регулярное выражение (синтаксис RE2) c именованными группами захвата в поле блока параметров Нормализация. Имя группы захвата и ее значение будут считаться полем и значением сырого события, которое можно будет преобразовать в поле события формата KUMA.

     Чтобы добавить правила обработки событий:

     1. В поле Примеры событий скопируйте пример данных, которые вы хотите обработать. Необязательный, но рекомендуемый шаг.
     2. В поле блока параметров Нормализация добавьте регулярное выражение c именованными группами захвата в синтаксисе RE2, например "(?P<name>regexp)". Регулярное выражение, добавленное в поле блока параметров Нормализация, должно полностью совпадать с событием. При разработке регулярного выражения рекомендуется использовать специальные символы, обозначающие начало и конец текста: ^, $.

        Вы можете добавить несколько регулярных выражений или удалить регулярные выражения. Для добавления регулярного выражения нажмите на кнопку Добавить регулярное выражение. Для удаления регулярного выражения нажмите рядом с ним на кнопку .

     3. Нажмите на кнопку Перенести названия полей в таблицу.

        Имена групп захвата отображаются в столбце Поле KUMA таблицы Сопоставление. Вы можете выбрать соответствующее группе захвата поле KUMA в столбце напротив каждой группы захвата. Если вы именовали группы захвата в соответствии с форматом CEF, вы можете использовать автоматическое сопоставление CEF, установив флажок Использовать синтаксис CEF при нормализации.

     Правила обработки событий добавлены.

   • syslog

     Этот метод парсинга используется для обработки данных в формате syslog.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию.

     Для парсинга событий в формате rfc5424 с секцией structured-data вам нужно включить опцию Сохранить дополнительные поля, выбрав в раскрывающемся списке Да. В этом случае значения из секции structured-data станут доступны в полях Extra.

   • csv

     Этот метод парсинга используется для создания собственных правил обработки данных в формате CSV.

     При выборе этого метода парсинга вам нужно указать разделитель значений в строке в поле Разделитель. В качестве разделителя значений в строке можно использовать любой однобайтовый символ ASCII.

   • kv

     Этот метод парсинга используется для обработки данных в формате ключ-значение. Доступные параметры метода парсинга описаны в таблице ниже.

     Доступные параметры метода парсинга

     Параметр	Описание
     Разделитель пар	Символ для разделения пар ключ-значение. Вы можете указать любое односимвольное (1 байт) значение. Указанное значение не должно совпадать со значением, указанным в поле Разделитель значений.
     Разделитель значений	Символ для разделения ключа и значения. Вы можете указать любое односимвольное (1 байт) значение. Указанное значение не должно совпадать со значением, указанным в поле Разделитель пар.

   • xml

     Этот метод парсинга используется для обработки данных в формате XML, в которых каждый объект, включая вложенные объекты, занимает одну строку файла. Файлы обрабатываются построчно.

     Если вы хотите передавать сырое событие для дополнительной нормализации, на каждом уровне вложенности в окне Дополнительный парсинг события в раскрывающемся списке Использовать сырое событие выберите Да.

     При выборе этого метода парсинга вы можете указать ключевые атрибуты, которые требуется извлекать из тегов, в блоке параметров Атрибуты XML. Если в структуре XML в одном теге есть атрибуты с разными значениями, вы можете определить значение, указав ключ к значению в столбце Исходные данные таблицы Сопоставление.

     Чтобы добавить ключевые атрибуты XML:

     1. Нажмите на кнопку Добавить поле.
     2. В открывшемся окне укажите путь к атрибуту.

     Вы можете добавить несколько атрибутов и удалить атрибуты. Для удаления отдельного атрибута нажмите рядом с ним на значок с крестиком. Для удаления всех атрибутов нажмите на кнопку Сбросить.

     Если ключевые атрибуты XML не указаны, при сопоставлении полей уникальный путь к значению XML будет представлен последовательностью тегов.

     Нумерация тегов

     Начиная с версии KUMA 2.1.3 доступна функция Нумерация тегов для автоматической нумерации тегов в событиях в формате XML. Это позволяет распарсить событие с одинаковыми тегами или неименованными тегами, такими как <Data>.

     В качестве примера мы используем функцию Нумерация тегов для нумерации тегов атрибута EventData события Microsoft Windows PowerShell event ID 800.

     <Event xmlns="http://schemas .microsoft.com/win/2004/08/events/event">

     <System>

     <Provider Name="Microsoft-Windows-ActiveDirectory_DomainService" Guid="{0e8478c5-3605-4e8c-8497-1e730c959516}" EventSourceName="NTDS" />

     <EventID Qualifiers="0000">0000</EventID>

     <Version>@</Version>

     <Level>4</Level>

     <Task>15</Task>

     <Opcode>0</Opcode>

     <Keywords >0x8080000000000000</Keywords>

     <TimeCreated SystemTime="2000-01-01T00:00:00.659495900Z" />

     <EventRecordID>55647</EventRecordID>

     <Correlation />

     <Execution ProcessID="1" ThreadID="1" />

     <Channel>service</Channel>

     <Computer>computer</Computer>

     <Security UserID="0000" />

     </System>

     <EventData>

     <Data>583</Data>

     <Data>36</Data>

     <Data>192.168.0.1:5084</Data>

     <Data>level</Data>

     <Data>name, lDAPDisplayName</Data>

     <Data />

     <Data>5545</Data>

     <Data>3</Data>

     <Data>0</Data>

     <Data>0</Data>

     <Data>0</Data>

     <Data>15</Data>

     <Data>none</Data>

     </EventData>

     </Event>

     Для парсинга событий с одинаковыми тегами или неименованными тегами вам нужно настроить нумерацию тегов и маппинг данных для пронумерованных тегов с полями события KUMA.

     KUMA 3.0.x поддерживает одновременное применение функций Атрибуты XML и Нумерация тегов в рамках одного экстранормализатора. Если атрибут содержит неименованные теги или одинаковые теги, мы рекомендуем использовать функцию Нумерация тегов. Если атрибут содержит только именованные теги, мы рекомендуем использовать функцию Атрибуты XML.

     Для использования функций Атрибуты XML и Нумерация тегов в экстранормализаторах вам нужно последовательно включить параметр Использовать сырое событие в каждом экстранормализаторе по пути следования события в целевой экстранормализатор и в целевом экстранормализаторе.

     В качестве примера работы функции Нумерация тегов вы можете обратиться к нормализатору MicrosoftProducts. Параметр Использовать сырое событие включен последовательно в экстранормализаторах AD FS и 424.

     Чтобы настроить парсинг событий с неименованными или одинаковыми тегами:

     1. Откройте существующий или создайте новый нормализатор.
     2. В окне нормализатора Основной парсинг событий в раскрывающемся списке Метод парсинга выберите xml.
     3. В поле Нумерация тегов нажмите на кнопку Добавить поле.
     4. В появившемся поле укажите полный путь к тегу, элементам которого требуется присвоить порядковый номер, например Event.EventData.Data. Первому тегу будет присвоен номер 0. Если тег пустой, например <Data />, ему также будет присвоен порядковый номер.
     5. Для настройки маппинга данных в группе параметров Сопоставление нажмите на кнопку Добавить строку и выполните следующие действия:
        1. В появившейся строке в поле Исходные данные укажите полный путь к тегу и индекс тега. Например, для события Microsoft Windows PowerShell event ID 800 из примера выше полные пути к тегам и индексы тегов будут выглядеть следующим образом:
           • Event.EventData.Data.0;
           • Event.EventData.Data.1;
           • Event.EventData.Data.2 и так далее.
        2. В раскрывающемся списке Поле KUMA выберите поле в событии KUMA, в которое попадет значение из пронумерованного тега после выполнения парсинга.
     6. Сохраните изменения одним из следующих способов:
        • Если вы создали новый нормализатор, нажмите на кнопку Сохранить.
        • Если вы редактировали существующий нормализатор, в коллекторе, к которому привязан нормализатор, нажмите на кнопку Обновить параметры.

     Настройка парсинга завершена.

   • netflow5

     Этот метод парсинга используется для обработки данных в формате NetFlow v5.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow5 выбран для основного парсинга, дополнительная нормализация недоступна.

     В правилах сопоставления по умолчанию для метода парсинга netflow5 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • netflow9

     Этот метод парсинга используется для обработки данных в формате NetFlow v9.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга netflow9 выбран для основного парсинга, дополнительная нормализация недоступна.

     В правилах сопоставления по умолчанию для метода парсинга netflow9 в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • sflow5

     Этот метод парсинга используется для обработки данных в формате sflow5.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга sflow5 выбран для основного парсинга, дополнительная нормализация недоступна.

   • ipfix

     Этот метод парсинга используется для обработки данных в формате IPFIX.

     При выборе этого метода парсинга вы можете использовать преднастроенные правила преобразования событий в формат KUMA, нажав на кнопку Применить сопоставление по умолчанию. Если метод парсинга ipfix выбран для основного парсинга, дополнительная нормализация недоступна.

     В правилах сопоставления по умолчанию для метода парсинга ipfix в полях событий KUMA не указывается тип протокола. При парсинге данных в формате NetFlow на вкладке нормализатора Обогащение вам нужно создать правило обогащения данных типа constant, добавляющее значение netflow в целевое поле DeviceProduct.

   • sql – этот метод становится доступным, только при использовании коннектора типа sql

     Нормализатор использует этот метод парсинга для обработки данных, полученных с помощью выборки из базы данных.

5. В раскрывающемся списке Сохранить исходное событие укажите, надо ли сохранять исходное сырое событие во вновь созданном нормализованном событии. Доступные значения:
   • Не сохранять – не сохранять исходное событие. Это значение используется по умолчанию.
   • При возникновении ошибок – сохранять исходное событие в поле Raw нормализованного события, если в процессе парсинга возникли ошибки. Это значение удобно использовать при отладке сервиса: в этом случае появление у событий непустого поля Raw будет являться признаком неполадок.
   • Всегда – сохранять сырое событие в поле Raw нормализованного события.
6. В раскрывающемся списке Сохранить дополнительные поля выберите, требуется ли сохранять поля исходного события в нормализованном событии, если для них не были настроены правила сопоставления (см. ниже). Данные сохраняются в поле события Extra. По умолчанию поля не сохраняются.
7. Скопируйте в поле Примеры событий пример данных, которые вы хотите обработать. Это необязательный, но рекомендуемый шаг.
8. В таблице Сопоставление настройте сопоставление полей исходного события с полями событий в формате KUMA:
   1. В столбце Исходные данные укажите название поля исходного события, которое вы хотите преобразовать в поле события KUMA.

      Подробнее о формате полей см. в статье Модель данных нормализованного события. Описание сопоставления см. в статье Сопоставление полей предустановленных нормализаторов.

      Если рядом с названиями полей в столбце Исходные данные нажать на кнопку , откроется окно Преобразование, в котором с помощью кнопки Добавить преобразование можно создать правила изменения исходных данных перед тем, как они будут записаны в поля событий KUMA.

      Доступные преобразования

      Преобразования – это изменения, которые применяются к значению перед записью в поле события. Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

      • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
      • lower – используется для перевода всех символов значения в нижний регистр.
      • upper – используется для перевода всех символов значения в верхний регистр.
      • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования появляется поле, в котором требуется указать регулярное выражение RE2.
      • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования появляются поля Начало и Конец, в которых требуется указать диапазон позиций.
      • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования появляются следующие поля:
        • Символы на замену – последовательность символов, которую требуется заменить.
        • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
      • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования появляется поле Символы, в котором требуется указать символы. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
      • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования появляется поле Константа, в котором требуется указать символы.
      • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования появляется поле Константа, в котором требуется указать символы.
      • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования появляются следующие поля:
        • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
        • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
      • Конвертация закодированных строк в текст:
        • decodeHexString – используется для конвертации HEX-строки в текст.
        • decodeBase64String – используется для конвертации Base64-строки в текст.
        • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

        При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

        При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

        Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

      Преобразования при использовании расширенной схемы событий

      Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

      • для дополнительного поля с типом «Строка» доступны все типы преобразования.
      • для полей с типами «Число» и «Число с плавающей точкой» доступны следующие типы преобразования: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String и decodeBase64URLString.
      • для полей с типами «Массив строк», «Массив чисел» и «Массив чисел с плавающей точкой» доступны следующие типы преобразования: append и prepend.

      В окне Преобразования добавленные правила можно менять местами, перетягивая их за значок , а также удалять с помощью значка .

   2. В столбце Поле KUMA в раскрывающемся списке выберите требуемое поле события KUMA. Поля можно искать, вводя в поле их названия.
   3. Если название поля события KUMA, выбранного на предыдущем шаге, начинается с DeviceCustom* и Flex*, в поле Подпись можно добавить уникальную пользовательскую метку.

   Новые строки таблицы можно добавлять с помощью кнопки Добавить строку. Строки можно удалять по отдельности с помощью кнопки или все сразу с помощью кнопки Очистить все.

   Чтобы KUMA могла выполнить обогащение событий данными про активы, и данные об активах были доступны в карточке алерта при срабатывании корреляционного правила, в таблице Сопоставление вам необходимо настроить сопоставление полей для адреса хоста и имени хоста в зависимости от назначения актива. Например, сопоставление для SourceAddress и SourceHostName, или DestinationAddress и DestinationHostName. В результате обогащения в карточке события появится поле SourceAssetID или DestinationAssetID и ссылка, по которой можно будет перейти в карточку актива. Также в результате обогащения сведения об активе будут доступны в карточке алерта.

   Если вы загрузили данные в поле Примеры событий, в таблице отобразится столбец Примеры с примерами значений, переносимых из поля исходного события в поле события KUMA.

9. Нажмите ОК.

На вкладке мастера установки Парсинг событий отображается нормализатор в виде темного кружка. Если вы хотите открыть параметры нормализатора для просмотра, нажмите на темный кружок. При наведении на кружок отображается значок плюса: при нажатии на него можно добавить дополнительные правила парсинга событий (см. ниже).

Обогащение нормализованного события дополнительными данными

В только что созданные нормализованные события можно добавлять дополнительные данные, создавая в нормализаторе правила обогащения. Эти правила хранятся в нормализаторе, в котором они были созданы. Правил обогащения может быть несколько.

Чтобы добавить правила обогащения в нормализатор:

1. Выберите основное или дополнительное правило нормализации, а затем в открывшемся окне перейдите на вкладку Обогащение.
2. Нажмите на кнопку Добавить обогащение.

   Появится блок параметров правила обогащения. Блок параметров можно удалить с помощью кнопки .

3. В раскрывающемся списке Тип источника выберите тип обогащения. В зависимости от выбранного типа отобразятся дополнительные параметры, которые также потребуется заполнить.

   Доступные типы источников обогащения:

   • константа

     Этот тип обогащения используется, если в поле события необходимо добавить константу. Доступные параметры типа обогащения описаны в таблице ниже.

     Доступные параметры типа обогащения

     Параметр	Описание
     Константа	Значение, которое требуется добавить в поле события. Максимальная длина значения: до 255 символов в кодировке Unicode. Если оставить поле пустым, существующее значение поля события будет удалено.
     Целевое поле	Поле события KUMA, в которое требуется поместить данные.

     Если вы используете функции обогащения событий для полей расширенной схемы с типом «Строка», «Число» или «Число с плавающей точкой» с помощью константы, в поле будет добавлена константа.

     Если вы используете функции обогащения событий для полей расширенной схемы с типом «Массив строк», «Массив чисел» или «Массив чисел с плавающей точкой» с помощью константы, константа будет добавлена к элементам массива.

   • словарь

     Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Словарь. Доступные параметры типа обогащения описаны в таблице ниже.

     Доступные параметры типа обогащения

     Параметр	Описание
     Название словаря	Словарь, из которого будут браться значения.
     Ключевые поля	Поля событий, значения которых будут использоваться для выбора записи словаря. Для добавления поля события нажмите на кнопку Добавить поле. Вы можете добавить несколько полей событий.

     Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение словарь, а в параметре Ключевые поля обогащения указано поле-массив, при передаче массива в качестве ключа словаря массив будет сериализован в строку согласно правилам сериализации одного значения в формате TSV.

     Пример: в параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c". В качестве ключа в словарь будут переданы значения ['a','b','c'].

     Если в параметре Ключевые поля обогащения используется поле-массив расширенной схемы и обычное поле схемы событий, значения полей при обращении в словарь будут разделены символом «|».

     Пример: в параметре Ключевые поля обогащения используется поле расширенной схемы SA.StringArrayOne и строковое поле Code. В поле расширенной схемы SA.StringArrayOne находятся значения "a", "b", "c", а строковое поле Code содержит последовательность символов myCode. В качестве ключа в словарь будут переданы значения ['a','b','c']|myCode.

   • таблица

     Этот тип обогащения используется, если в поле события необходимо добавить значение из словаря типа Таблица. Доступные параметры типа обогащения описаны в таблице ниже.

     Доступные параметры типа обогащения

     Параметр	Описание
     Название словаря	Словарь, из которого будут браться значения.
     Ключевые поля	Поля событий, значения которых будут использоваться для выбора записи словаря. Для добавления поля события нажмите на кнопку Добавить поле. Вы можете добавить несколько полей событий.
     Сопоставление	Поля событий для передачи данных: Поле словаря – поля словаря, из которых будут передаваться данные. Доступные поля зависят от выбранного ресурса словаря. Поле KUMA – поля событий, в которые будут передаваться данные. Для некоторых выбранных полей (*custom* и *flex*) в столбце Подпись вы можете задать название для помещаемых данных.

     Первое поле в таблице (Поле словаря) считается ключом, с которым будут сопоставляться поля, выбранные из события в качестве ключевых (Поле KUMA). В качестве ключа в Поле словаря вам нужно выбрать индикатор компрометации, по которому будет осуществляться обогащение, например IP-адрес, URL-адрес или хеш. В правиле необходимо выбрать поле события, соответствующее выбранному индикатору в поле словаря.

     Если вы хотите выбрать несколько ключевых полей, вы можете указать их через разделитель | (при указании через веб-интерфейс или импорте через CSV-файл), например <IP-адрес>|<имя пользователя>.

     Вы можете добавлять новые строки таблицы и удалять строки таблицы. Для добавления новой строки таблицы нажмите на кнопку Добавить элемент. Для удаления строки таблицы нажмите на кнопку .

   • событие

     Этот тип обогащения используется, если в поле события необходимо записать значение другого поля события. Доступные параметры типа обогащения описаны в таблице ниже.

     Доступные параметры типа обогащения

     Параметр	Описание
     Целевое поле	Поле события KUMA, в которое требуется поместить данные.
     Исходное поле	Поле события, значение которого будет записано в целевое поле.

     Если нажать на кнопку , откроется окно Преобразование, в котором вы можете с помощью кнопки Добавить преобразование создавать правила для изменения исходных данных перед записью в поля событий KUMA. Вы можете менять местами и удалять созданные правила. Для изменения места правила используйте значок рядом с ним. Для удаления правила нажмите рядом с ним на значок .

     Доступные преобразования

     Преобразования – это изменения, которые применяются к значению перед записью в поле события. Вы можете выбрать в раскрывающемся списке один из следующих типов преобразования:

     • entropy – используется для преобразования значения исходного поля с помощью функции вычисления информационной энтропии и помещения результата преобразования в целевое поле типа float. Результатом преобразования будет число. Показатель вычисления информационной энтропии позволяет выявлять DNS-туннели и компрометацию паролей, например когда пользователь ввел пароль вместо логина и пароль записывается в журнал в открытом виде.
     • lower – используется для перевода всех символов значения в нижний регистр.
     • upper – используется для перевода всех символов значения в верхний регистр.
     • regexp – используется для преобразования значения с помощью указанного регулярного выражения RE2. При выборе этого типа преобразования появляется поле, в котором требуется указать регулярное выражение RE2.
     • substring – используется для извлечения символов в указанном диапазоне позиций. При выборе этого типа преобразования появляются поля Начало и Конец, в которых требуется указать диапазон позиций.
     • replace – используется для замены указанной последовательности символов на другую последовательность символов. При выборе этого типа преобразования появляются следующие поля:
       • Символы на замену – последовательность символов, которую требуется заменить.
       • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
     • trim – используется для удаления указанных символов одновременно с начала и с конца значения поля события. При выборе этого типа преобразования появляется поле Символы, в котором требуется указать символы. Например, если для значения Microsoft-Windows-Sysmon выполнить преобразование trim со значением Micromon, новым значением будет soft-Windows-Sys.
     • append – используется для добавления указанных символов в конец значения поля события. При выборе этого типа преобразования появляется поле Константа, в котором требуется указать символы.
     • prepend – используется для добавления указанных символов к началу значения поля события. При выборе этого типа преобразования появляется поле Константа, в котором требуется указать символы.
     • replace with regexp – используется для замены результатов регулярного выражения RE2 на указанную последовательность символов. При выборе этого типа преобразования появляются следующие поля:
       • Выражение – регулярное выражение RE2, результаты которого требуется заменить.
       • Чем заменить – последовательность символов, которую требуется использовать вместо заменяемой последовательности символов.
     • Конвертация закодированных строк в текст:
       • decodeHexString – используется для конвертации HEX-строки в текст.
       • decodeBase64String – используется для конвертации Base64-строки в текст.
       • decodeBase64URLString – используется для конвертации Base64url-строки в текст.

       При конвертации поврежденной строки или при ошибках конвертации в поле события могут быть записаны поврежденные данные.

       При обогащении событий, если длина закодированной строки превышает размер поля нормализованного события, такая строка будет обрезана и не будет раскодирована.

       Если длина раскодированной строки превышает размер поля события, в которое должно быть помещено раскодированное значение, такая строка будет обрезана до размера этого поля события.

     Преобразования при использовании расширенной схемы событий

     Возможность использования преобразования зависит от типа используемого поля расширенной схемы событий:

     • для дополнительного поля с типом «Строка» доступны все типы преобразования.
     • для полей с типами «Число» и «Число с плавающей точкой» доступны следующие типы преобразования: regexp, substring, replace, trim, append, prepend, replaceWithRegexp, decodeHexString, decodeBase64String и decodeBase64URLString.
     • для полей с типами «Массив строк», «Массив чисел» и «Массив чисел с плавающей точкой» доступны следующие типы преобразования: append и prepend.

     При использовании обогащения событий, у которых в качестве параметра Тип источника данных выбрано значение событие, а в качестве аргументов используются поля расширенной схемы событий, необходимо учесть следующие особенности:

     • Если исходное поле расширенной схемы событий имеет тип «Массив строк», а целевое поле расширенной схемы событий имеет тип «Строка», значения будут размещены в целевом поле расширенной схемы событий в формате TSV.

       Пример: в поле расширенной схемы событий SA.StringArray, находятся значения «string1», «string2», «string3». Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий DeviceCustomString1. В поле расширенной схемы событий DeviceCustomString1 будут находиться значения [«string1», «string2», «string3»].

     • Если исходное и целевое поля расширенной схемы событий имеют тип «Массив строк», значения целевого поля расширенной схемы событий будут дополнены значениями исходного поля расширенной схемы событий, а качестве символа-разделителя будет использован символ «,».

       Пример: в поле расширенной схемы событий SA.StringArrayOne, находятся значения [«string1», «string2», «string3»], а в поле расширенной схемы событий SA.StringArrayTwo находятся значения [«string4», «string5», «string6»]. Выполняется операция обогащения событий. Результат выполнения операции обогащения событий заносится в поле расширенной схемы событий SA.StringArrayTwo. В поле расширенной схемы событий SA.StringArrayTwo будут находиться значения[«string4», «string5», «string6», «string1», «string2», «string3»].

   • шаблон

     Этот тип обогащения используется, если в поле события необходимо записать значение, полученное при обработке шаблонов Go. Мы рекомендуем сопоставлять значение и размер поля. Доступные параметры типа обогащения описаны в таблице ниже.

     Доступные параметры типа обогащения

     Параметр	Описание
     Шаблон	Шаблон Go. Имена полей событий передаются в формате {{.EventField}}, где EventField – это название поля события, значение которого должно быть передано в скрипт, например Атака на {{.DestinationAddress}} со стороны {{.SourceAddress}}.
     Целевое поле	Поле события KUMA, в которое требуется поместить данные.

     Если вы используете обогащение событий, у которого в качестве параметра Тип источника данных выбрано значение шаблон, целевым полем является поле с типом «Строка», а исходным полем является поле расширенной схемы событий, содержащее массив строк, в шаблоне может быть использован один из следующих примеров:

     • {{.SA.StringArrayOne}}
     • {{- range $index, $element := . SA.StringArrayOne -}}

       {{- if $index}}, {{end}}"{{$element}}"{{- end -}}

     Для преобразования в шаблоне данных поля массива в формат TSV необходимо использовать функцию toString, например:

     template {{toString .SA.StringArray}}

4. В раскрывающемся списке Целевое поле выберите поле события KUMA, в которое следует поместить данные.

   Этот параметр недоступен для типа источника обогащения таблица.

5. Если вы хотите включить детализацию в журнале нормализатора, переведите переключатель Отладка в активное положение. По умолчанию детализация отключена.
6. Нажмите ОК.

В нормализатор, в выбранное правило парсинга, добавлены правила обогащения событий дополнительными данными.

Настройка парсинга с привязкой к IP-адресам

Вы можете направить события с нескольких IP-адресов, от источников разных типов в один коллектор, и коллектор применит соответствующие заданные нормализаторы.

Такой способ доступен для коллекторов с коннектором типа UDP, TCP, HTTP. Если в коллекторе на шаге Транспорт указан коннектор UDP, TCP, HTTP, на шаге Парсинг событий на вкладке Настройки парсинга вы можете задать несколько IP-адресов и указать, какой нормализатор следует использовать для событий, поступающих с заданных адресов. Доступны следующие типы нормализаторов: json, cef, regexp, syslog, csv, kv, xml.

Если в коллекторе с настроенными нормализаторами с привязкой к IP-адресам вы измените тип коннектора на какой-либо, кроме UDP, TCP, HTTP, вкладка Настройки парсинга исчезнет и на шаге Парсинг будет указан только первый нормализатор из указанных прежде. Вкладка исчезает в веб-интерфейсе сразу, изменения будут применены после сохранения ресурса. Если вы хотите вернуться к прежним параметрам, выйдите из мастера установки коллектора без сохранения.

Для нормализаторов типа Syslog и regexp допускается использование цепочки нормализаторов: вы можете задать дополнительные условия нормализации в зависимости от значения поля DeviceProcessName. Отличие от дополнительной нормализации: вы можете указывать общедоступные нормализаторы.

Чтобы настроить парсинг с привязкой к IP-адресам:

1. На шаге Парсинг событий перейдите на вкладку Настройки парсинга.
2. В поле IP-адрес(-а) укажите один или несколько IP-адресов, с которых будут поступать события. Вы можете указать несколько IP-адресов через запятую. Доступный формат: IPv4. Длина списка адресов не ограничена, при этом мы рекомендуем указывать разумное количество адресов для соблюдения баланса нагрузки на коллектор. Поле обязательно для заполнения, если вы хотите применять несколько нормализаторов в одном коллекторе.

   Ограничение: IP-адрес должен быть уникальным для каждой комбинации IP + нормализатор. KUMA выполняет проверку уникальности адресов, если вы укажете один и тот IP-адрес для разных нормализаторов, появится сообщение «Поле должно быть уникальным».

   Если вы планируете отправлять все события в один нормализатор без указания IP-адресов, мы рекомендуем создать отдельный коллектор. Также мы рекомендуем создать отдельный коллектор с одним нормализатором, если вы хотите применить один нормализатор к событиям с большого количества IP-адресов - в таком варианте производительность будет выше.

3. В поле Нормализатор создайте или выберите в раскрывающемся списке существующий нормализатор. Стрелка рядом с раскрывающимся списком позволяет выполнить переход на вкладку Схемы парсинга.

   Нормализация будет срабатывать если у вас настроен тип коннектора: UDP, TCP, HTTP, при этом для HTTP должен быть указан header источника событий.

   С учетом доступных коннекторов, следующие типы нормализатора доступны для автоматического распознавания источников: json, cef, regexp, syslog, csv, kv, xml.

4. Если вы выбрали тип нормализатора Syslog или regexp, вы можете Добавить условную нормализацию. Условная нормализация будет доступна, если в основном нормализаторе настроено Сопоставление полей для DeviceProcessName. В группе параметров Условие укажите имя процесса в поле DeviceProcessName и создайте или выберите из раскрывающегося списка существующий нормализатор. Вы можете указать несколько комбинаций DeviceProcessName + нормализатор, нормализация будет выполняться до первого совпадения.

Настройка парсинга с привязкой к IP-адресам выполнена.

Создание структуры правил нормализации событий

Для реализации сложной логики обработки событий в нормализатор можно добавить более одного правила парсинга событий. События передаются между правилами парсинга в зависимости от заданных условий. Последовательность создания правил парсинга имеет значение: событие обрабатывается последовательно и его путь отображается в виде стрелочек.

Чтобы создать дополнительное правило парсинга:

1. Создайте нормализатор (см. выше).

   Созданный нормализатор отобразится в окне в виде темного кружка.

2. Наведите указатель мыши на кружок и нажмите на появившуюся кнопку со значком плюса.
3. В открывшемся окне Дополнительный парсинг события задайте параметры дополнительного правила парсинга события:
   • Вкладка Условия дополнительной нормализации:

     Если вы хотите передавать сырое событие для дополнительной нормализации, в раскрывающемся списке Использовать сырое событие выберите значение Да. По умолчанию указано значение Нет. Мы рекомендуем передавать сырое событие в нормализаторы типа json и xml. Если вы хотите передавать сырое событие для дополнительной нормализации на второй, третий и далее уровень вложенности, последовательно на каждом уровне вложенности в раскрывающемся списке Использовать сырое событие выберите значение Да.

     Если вы хотите отправлять в дополнительный нормализатор только события с определенным полем, укажите его в поле Поле, которое следует передать в нормализатор.

     На этой вкладке вы также можете определить другие условия, при выполнении которых событие будет поступать на дополнительный парсинг.

   • Вкладка Схема нормализации:

     На этой вкладке можно настроить правила обработки событий, по аналогии с параметрами основного нормализатора (см. выше). Параметр Сохранить исходное событие недоступен. В поле Примеры событий отображаются значения, указанные при создании начального нормализатора.

   • Вкладка Обогащение:

     На этой вкладке можно настроить правила обогащения событий (см. выше).

4. Нажмите ОК.

Дополнительное правило парсинга добавлено в нормализатор и отображается в виде темного блока, на котором указаны условия, при котором это правило будет задействовано. Параметры дополнительного правила парсинга можно изменить, нажав на него. Если навести указатель мыши на дополнительное правило парсинга, отобразится кнопка со значком плюса, с помощью которой можно создать новое дополнительное правило парсинга. С помощью кнопки со значком корзины нормализатор можно удалить.

В верхнем правом углу окна располагается окно поиска, где можно искать правила парсинга по названию.

Перейдите к следующему шагу мастера установки.

В начало