Параметры настройки Feed Utility

Feed Utility считывает параметры конфигурации, правила потоков данных об угрозах, правила фильтрации и правила парсинга для потоков данных об угрозах из конфигурационного файла. В этом файле в формате XML несколько групп параметров.

Пути в конфигурационном файле должны содержать только символы, используемые в локали операционной системы, иначе Feed Utility не будет работать.

Feed (правила потоков данных об угрозах, правила фильтрации и правила парсинга)

Параметр Feed содержит правила для определенного потока данных об угрозах. Этот элемент имеет несколько типов вложенных параметров:

• Правила потока данных об угрозах определяют, как данный конкретный поток данных об угрозах должен обрабатываться в Feed Utility.
• Правила фильтрации — это критерии, которые Feed Utility использует для фильтрации исходных файлов потока данных об угрозах. Правила фильтрации являются составной частью правил для каждого потока данных об угрозах.
• Правила парсинга — это правила для пользовательских потоков данных об угрозах (потоков данных об угрозах OSINT и других потоков данных об угрозах, не являющихся потоками данных об угрозах Kaspersky Threat Data Feeds). Эти параметры определяют, как должен выполняться парсинг каждого потока данных об угрозах в Feed Utility.

У этого параметра есть следующие атрибуты:

• enabled

  Указывает, должна ли Feed Utility загружать и обрабатывать этот поток данных об угрозах.

  Если параметр enabled имеет значение «true», Feed Utility загружает и обрабатывает этот поток данных об угрозах. Если параметр enabled имеет значение «false», Feed Utility пропускает этот поток данных об угрозах.

В следующем примере показаны вложенные правила потока данных об угрозах, правила фильтрации и правила парсинга в конфигурационном файле.

<Settings> ... <Feeds> ... <Feed enabled="true"> <Name>Malicious_Hash_Data_Feed</Name> <!-- Other feed rules for this feed --> <Filters> <Field name="popularity" value="4;5"/> <!-- Other filtering rules for this feed --> </Filters> </Feed> <Feed> <Name>Botnet_CnC_URL_Data_Feed</Name> <!-- Other feed rules for this feed --> <!-- This feed has no filtering rules --> </Feed> ... </Feeds> ... </Settings>

FeedsDir

Параметр FeedsDir задает каталог, в который Feed Utility помещает обработанные файлы потоков данных об угрозах.

WorkDir

Параметр WorkDir задает каталог, в который Feed Utility помещает загруженные и распакованные файлы потоков данных об угрозах.

Если этот параметр не указан, Feed Utility использует временный каталог операционной системы по умолчанию.

WorkDir не может быть идентичным FeedsDir.

CertFile

Параметр CertFile задает путь к файлу сертификата. Этот сертификат используется Feed Utility для загрузки потоков данных об угрозах.

Файл сертификата должен иметь формат PEM.

SourceIPs

Параметр SourceIPs задает IP-адреса, которые используются в Feed Utility для загрузки потоков данных об угрозах.

Этот параметр является необязательным. Если он не указан или имеет пустое значение, Feed Utility использует для разрешения адресов серверов «Лаборатории Касперского» их доменные имена.

В этом параметре можно указать один или несколько адресов IPv4. При указании нескольких IP-адресов следует использовать точку с запятой («;») в качестве разделителя.

В следующем примере демонстрируется указание IP-адресов в параметре SourceIPs.

<SourceIPs>192.0.2.1;192.0.2.2</SourceIPs>

SourceDomains

Параметр SourceDomains задает доменные имена, используемые Feed Utility для загрузки потоков данных об угрозах.

В этом параметре можно указать одно или несколько доменных имен. При указании нескольких доменных имен следует использовать точку с запятой («;») в качестве разделителя. Feed Utility будет пытаться загрузить потоки данных об угрозах с указанных доменных имен в том порядке, в котором они указаны в конфигурационном файле.

Когда параметры SourceDomains и SourceIPs используются одновременно, домены, указанные в параметре SourceDomains, используются прежде IP-адресов, указанных в параметре SourceIPs. Если все попытки загрузить потоки данных об угрозах завершились неуспешно, Feed Utility выдает сообщение об ошибке.

В этом параметре можно использовать символы Uncode.

В следующем примере демонстрируется указание IP-адресов в параметре SourceDomains.

<SourceDomains>updates1.example.com;updates2.example.com</SourceDomains>

CreateExternalFeedInfoList path="PATH"

Этот параметр считается устаревшим. В текущей версии Kaspersky CyberTrace он игнорируется.

Параметр CreateExternalFeedInfoList указывает, должен ли создаваться список поддерживаемых потоков данных об угрозах OSINT. Этот параметр является обязательным.

Если этот параметр имеет значение 1, Feed Utility создает список поддерживаемых потоков данных об угрозах OSINT «osint_feed_list.conf» в каталоге, указанном в атрибуте path. Если в Kaspersky CyberTrace были добавлены какие-либо пользовательские или сторонние потоки данных об угрозах, Feed Utility также создаст список этих потоков данных об угрозах «custom_feed_list.conf» в том же каталоге, что и «osint_feed_list.conf».

Если этот параметр имеет значение 0, Feed Utility не создает список поддерживаемых потоков данных об угрозах OSINT.

В следующем примере демонстрируется указание пути, по которому должен быть создан список. В этом примере список создается в том же каталоге, в котором находится бинарный файл Feed Utility.

<CreateExternalFeedInfoList path=".">1</CreateExternalFeedInfoList>

NotifyKTFS path="PATH"

Параметр NotifyKTFS указывает, должен ли Kaspersky CyberTrace Service получать уведомления об обновлениях потоков данных об угрозах.

Этот параметр можно использовать только с форматом вывода json.

Если этот параметр имеет значение 1, Feed Utility уведомляет Kaspersky CyberTrace Service о необходимости перезагрузки потоков данных об угрозах. В атрибуте path этого параметра должен быть указан путь к бинарному файлу Kaspersky CyberTrace Service.

Если этот параметр имеет значение 0, Feed Utility не отправляет уведомления в Kaspersky CyberTrace Service.

EULA

Параметр EULA указывает, были ли приняты условия Лицензионного соглашения (EULA).

Если этот параметр имеет значение accepted, условия лицензионного соглашения были приняты.

Если этот параметр имеет значение rejected, условия лицензионного соглашения не были приняты. В этом случае использование Feed Utility невозможно.

RetryCount

Параметр RetryCount указывает количество попыток загрузки потока данных об угрозах Kaspersky Threat Data Feeds. Feed Utility пытается повторно загрузить поток данных об угрозах при истечении времени ожидания соединения, при частичной загрузки и при возникновении других ошибок.

Если указанное количество попыток оказалось безуспешным, Feed Utility отобразит сообщение об ошибке и продолжит работу.

Этот параметр используется только для потоков данных об угрозах Kaspersky Threat Data Feeds. Feed Utility не загружает повторно потоки данных об угрозах OSINT и другие пользовательские потоки данных об угрозах.

Этот параметр является необязательным. Если этот параметр не указан, Feed Utility использует значение по умолчанию 10.

Если этот параметр имеет значение 0, количество попыток не ограничено.

SequentialDownload

Параметр SequentialDownload указывает, должна ли Feed Utility загружать потоки данных об угрозах в последовательном или параллельном режиме.

Если это значение равно 1 или true, Feed Utility загружает потоки данных об угрозах в последовательном режиме, один за другим.

Если это значение равно 0 или false, Feed Utility загружает потоки данных об угрозах в параллельном режиме, все одновременно.

По умолчанию этот параметр имеет значение 0.

OutputFormat

Параметр OutputFormat определяет формат вывода для всех потоков данных об угрозах. Этот параметр может иметь следующие значения:

• json

  Потоки данных об угрозах выводятся в формате JSON. Файлы потоков данных об угрозах имеют расширение .json.

  Это значение задано по умолчанию. Если параметр OutputFormat пропущен, для определения формата вывода используется это значение.

• txt

  Потоки данных об угрозах выводятся в простом текстовом формате (UTF-8 с BOM). Файлы потокjd данных об угрозах имеют расширение .txt.

  • Атрибут delimiter

    В этом формате поля записи разделяются разделителем. По умолчанию в качестве разделителя используется точка с запятой — «;». Указать собственный разделитель можно с помощью атрибута delimiter следующим образом:

    <OutputFormat delimiter="%delimiter%">txt</OutputFormat>

    Здесь %delimiter% необходимо заменить символом, который должен использоваться в качестве разделителя.

  • Атрибут indicatorPerLine

    Чтобы выводить по одному полю записи в строке, установите для атрибута indicatorPerLine значение 1 следующим образом:

    <OutputFormat indicatorPerLine="1">txt</OutputFormat>

    Если используется этот атрибут, вложенные поля, указанные в правиле потока данных об угрозах RequiredFields, должны иметь одно и то же родительское поле. Например, запись "files/MD5;files/SHA1" корректна, а запись "files/MD5;whois/domain" некорректна и приведет к ошибке.

  Если указан этот формат вывода, все правила потоков данных об угрозах в конфигурационном файле должны включать в себя параметр RequiredFields. Параметр RequiredFields задает порядок, в котором поля записываются в выходной поток данных об угрозах.

• csv

  То же, что и txt. Файлы потоков данных об угрозах имеют расширение .csv.

  Можно использовать атрибуты delimiter и indicatorPerLine.

• openioc

  Потоки данных об угрозах имеют формат OpenIOC. Файлы потоков данных об угрозах имеют расширение .ioc.

  Версию формата OpenIOC можно указатьв атрибуте version: это может быть 1.0 или 1.1. Если этот атрибут не указан, используется версия 1.1.

  Преобразование потоков данных об угрозах в формат OpenIOC 1.0 связано с некоторыми ограничениями. Потоки данных об угрозах Phishing URL Data Feed и Malicious URL Data Feed не могут быть преобразованы в формат OpenIOC 1.0; вместо этого в консоль выводится сообщение об ошибке. Для других потоков данных об угрозах конвертируются только поля хешей и IP-адресов. Конвертация потоков данных об угрозах в формат OpenIOC 1.1 не влечет таких ограничений.

  Элемент RequiredFields использовать не рекомендуется. В этом случае в потоке данных об угрозах будут отсутствовать поля, обязательные для преобразования в формат OpenIOC.

  Параметр RecordsCount использовать не рекомедуется, поскольку он не предназначен для этого формата. Результаты использования этого параметра могут быть непредсказуемыми.

  Потоки данных об угрозах в формате OpenIOC занимают значительно больше места на жестком диске, чем исходные файлы потоков данных об угрозах.

• stix

  Потока данных об угрозах имеют формат STIX™. Файлы имеют расширение .xml.

  Для формата STIX потоки данных об угрозах с масками URL должны иметь поле type.

  Версию формата STIX можно указать в атрибуте version: это может быть 1, 2.0 или 2.1. Если указано значение 1, поток данных об угрозах выводится в формате STIX 1.1. Если атрибут не указан, используется значение 1.

  Элемент RequiredFields использовать не рекомендуется. В этом случае в потоке данных об угрозах будут отсутствовать поля, обязательные для преобразования в формат STIX.

  Параметр RecordsCount использовать не рекомедуется, поскольку он не предназначен для этого формата. Результаты использования этого параметра могут быть непредсказуемыми.

  Потоки данных об угрозах в формате STIX занимают значительно больше места на жестком диске, чем исходные файлы потоков данных об угрозах.

В следующем примере показан вложенный параметр OutputFormat в конфигурационном файле.

<Settings> ... <Feeds> <OutputFormat>json</OutputFormat> ... </Feeds> ... </Settings>

CreateDiff

Параметр CreateDiff указывает, должна ли Feed Utility создавать инкрементные части для потоков данных об угрозах. Инкрементные потоки данных об угрозах — это файлы, содержащие различия между старой и новой версиями обрабатываемого файла потока данных об угрозах. Этот параметр влияет на все потоки данных об угрозах, создаваемые Feed Utility, следующим образом:

• Если этот параметр имеет значение 0, Feed Utility не создает инкрементные потоки данных об угрозах. Это значение задано по умолчанию.
• Если этот параметр имеет значение 1, Feed Utility создает инкрементные потоки данных об угрозах.

Если для параметра CreateDiff задано значение 1 и загружаются новые версии потоков данных об угрозах, для каждого потока данных об угрозах создаются два дополнительных файла (%feed_name% — имя файла потока данных об угрозах):

• Файл %feed_name% _new.json содержит записи, которые были добавлены в новую версию файла потока данных об угрозах.
• Файл %feed_name% _del.json содержит записи, которые были удалены в новой версии файла потока данных об угрозах.

Инкрементные потоки данных об угрозах можно создавать только для потоков данных об угрозах в формате JSON, содержащихся в одном файле:

• Параметр OutputFormat должен иметь значение json.
• Для каждого потока данных об угрозах параметр UrlMatcherField должен быть опущен или иметь пустое значение.
• Для каждого потока данных об угрозах параметр RecordsCount не должен иметь атрибута perFile или этот атрибут должен иметь значение 0.

Для создания инкрементного потока данных об угрозах Feed Utility использует ключевое поле в старой и новой версиях потока данных об угрозах:

• Если этот поток данных об угрозах содержит невложенные поля id, MD5, ip, url или domain, это поле используется как ключевое поле.
• Если все вышеперечисленные поля отсутствуют, Feed Utility пытается найти в потоке данных об угрозах поле с уникальными значениями. Если эта попытка не удалась, выдается предупреждение.

В следующем примере показан вложенный параметр OutputFormat в конфигурационном файле.

<Settings> ... <Feeds> ... <CreateDiff>0</CreateDiff> ... </Feeds> ... </Settings>

ProxySettings

Параметр ProxySettings задает настройки прокси-сервера для Feed Utility. Если указан прокси-сервер, Feed Utility загружает потоки данных об угрозах с использованием указанных параметров.

Имя пользователя и пароль для прокси-сервера хранятся в конфигурационном файле Feed Utility. Эта информация не передается в «Лабораторию Касперского».

Настройки прокси задаются в следующих параметрах:

• Host

  Хост прокси-сервера.

  В этом параметре можно указать доменное имя или IP-адрес. Поддерживаются адреса IPv4 и IPv6.

• Port

  Порт прокси-сервера.

• User

  Зашифрованное имя пользователя для аутентификации на прокси-сервере.

  Если прокси-сервер не требует аутентификации, оставьте этот параметр пустым.

  Этот параметр хранится в зашифрованном виде. Для установки этого параметра используется параметр командной строки --set-proxy. Если вместо использования этого параметра командной строки ввести имя пользователя в незашифрованном виде, соединение с прокси-сервером не будет установлено.

• Password

  Зашифрованный пароль для аутентификации на прокси-сервере.

  Если прокси-сервер не требует аутентификации, оставьте этот параметр пустым.

  Этот параметр хранится в зашифрованном виде. Для установки этого параметра используется параметр командной строки --set-proxy. Если вместо использования этого параметра командной строки ввести пароль в незашифрованном виде, соединение с прокси-сервером не будет установлено.

В следующем примере показаны вложенные параметры прокси-сервера в конфигурационном файле.

<Settings> ... <ProxySettings> <Host></Host> <Port></Port> <User></User> <Password></Password> </ProxySettings> ... </Settings>

LogSettings

Параметр LogSettings определяет, каким образом Feed Utility ведет свой журнал.

Если ведение журнала включено, Feed Utility может записывать в файлы журнала любые из следующих сведений, которые могут считаться конфиденциальными, относящимися к безопасности или чувствительными: параметры конфигурации Feed Utility, хост и порт прокси-сервера, а также операции, выполняемые при загрузке и обработке потоков данных об угрозах.

Если ведение журнала включено, Feed Utility записывает в файлы журнала информацию о свободном месте на жестком диске, доступном для рабочих каталогов и каталогов потоков данных об угрозах. Также, начиная с этой версии, в журналы будет записываться средняя скорость загрузки потоков данных об угрозах.

Файлы журнала представляют собой простые текстовые файлы. Вся информация записывается в файлы журнала в незашифрованном виде. Файлы журнала имеют стандартные унаследованные права доступа. Рекомендуется назначить каталогу для хранения файлов журнала соответствующие права, чтобы читать файлы журнала мог только администратор.

Файлы журнала хранятся до тех пор, пока они не будут явным образом удалены пользователем.

Feed Utility не отправляет файлы журналов или какие-либо данные, содержащиеся в них, в «Лабораторию Касперского». В целях оказания технической поддержки ваш персональный технический менеджер (ПТМ) может попросить вас предоставить файлы журнала.

Настройки ведения журнала задаются в следующих параметрах:

• EnableLog

  Включение ведения журнала.

  Если это значение равно 1 или true, Feed Utility ведет журнал своих действий.

  Если это значение равно 0 или false, Feed Utility не ведет журнал своих действий.

• LogsDir

  Каталог, в котором Feed Utility хранит свои файлы журналов.

• CleanOldLog

  Позволяет удалять старые файлы журналов.

  Если это значение равно 0, при инициализации Feed Utility сохраняет старые файлы журналов.

  Если это значение равно 1, при инициализации Feed Utility удаляет старые файлы журналов.

В следующем примере показаны вложенные настройки ведения журнала в конфигурационном файле.

<Settings> ... <LogSettings> <EnableLog>0</EnableLog> <LogsDir>logs</LogsDir> <CleanOldLog>1</CleanOldLog> </LogSettings> </Settings>

В начало