Тип file

Тип file используется для получения данных из любого текстового файла. Одна строка файла считается одним событием. Разделители между строк: \n. Коннектор этого типа доступен для Linux-агентов и для Windows-агентов.

Чтобы читать Windows-файлы, нужно создать коннектор типа file и установить агент на Windows вручную. В одном Windows-агенте можно настроить несколько соединений разного типа, но тип file должен быть один. Windows-агент не должен читать свои файлы в папке, где агент установлен. Коннектор будет работать, даже если файловая система FAT: если дефрагментировать диск, коннектор перечитает все файлы сначала, так все inode файлов сбрасываются.

Мы не рекомендуем запускать агент под учетной записью администратора; необходимо, чтобы права чтения на папки/файлы были настроены для учетной записи агента. Мы не рекомендуем ставить агент на важные системы, лучше пересылать журналы и читать их на отдельных хостах с агентом.

При создании этого типа коннектора вам требуется указать значения для следующих параметров:

• Вкладка Основные параметры:
  • Название (обязательно) – уникальное имя для этого типа ресурса. Должно содержать от 1 до 128 символов в кодировке Unicode.
  • Тенант (обязательно) – название тенанта, которому принадлежит ресурс.
  • Тип (обязательно) – тип коннектора, file.
  • Путь к файлу (обязательно) – полный путь до файла, с которым требуется выполнять взаимодействие. Например, /var/log/*som?[1-9].log или с:\folder\logs.*. Недопустимо указывать следующие пути:
    • `(?i)^[a-zA-Z]:\\Program Files`
    • `(?i)^[a-zA-Z]:\\Program Files \(x86\)`
    • `(?i)^[a-zA-Z]:\\Windows`
    • `(?i)^[a-zA-Z]:\\ProgramData\\Kaspersky Lab\\KUMA`

    Шаблоны масок для файлов и директорий

    Маски:

    • '*' – соответствует любой последовательности символов;
    • '[' [ '^' ] { диапазон символов } ']' – класс символов (не должен быть пустым);
    • '?' – соответствует любому одиночному символу.

    Диапазоны символов:

    • [0-9] – числа;
    • [a-zA-Z] – буквы латинского алфавита.

    Примеры:

    • /var/log/*som?[1-9].log
    • /mnt/dns_logs/*/dns.log
    • /mnt/proxy/access*.log

    Ограничения при использовании префиксов к путям файлов

    Префиксы, которые невозможно использовать при указании путей к файлам:

    • /*
    • /bin
    • /boot
    • /dev
    • /etc
    • /home
    • /lib
    • /lib64
    • /proc
    • /root
    • /run
    • /sys
    • /tmp
    • /usr/*
    • /usr/bin/
    • /usr/local/*
    • /usr/local/sbin/
    • /usr/local/bin/
    • /usr/sbin/
    • /usr/lib/
    • /usr/lib64/
    • /var/*
    • /var/lib/
    • /var/run/
    • /opt/kaspersky/kuma/

    Файлы по указанным ниже путям доступны:

    • /opt/kaspersky/kuma/clickhouse/logs/
    • /opt/kaspersky/kuma/mongodb/log/
    • /opt/kaspersky/kuma/victoria-metrics/log/

    Ограничение количества отслеживаемых файлов по маске

    Количество одновременно отслеживаемых файлов по маске может быть ограничено параметром Ядра max_user_watches. Чтобы просмотреть значение параметра, выполните следующую команду:

    cat /proc/sys/fs/inotify/max_user_watches

    Если количество файлов для отслеживания превышает значение параметра max_user_watches, коллектор больше не сможет считывать события из файлов и в журнале коллектора появится следующая ошибка:

    Failed to add files for watching {"error": "no space left on device"}

    Чтобы коллектор продолжил корректно работать, вы можете настроить правильную ротацию файлов, чтобы количество файлов не превышало значение параметра max_user_watches, или увеличить значение max_user_watches.

    Чтобы увеличить значение параметра:

    sysctl fs.inotify.max_user_watches=<количество файлов>

    sysctl -p

    Также вы можете добавить значение параметра max_user_watches в sysctl.conf, чтобы значение сохранялось всегда.

    После того, как вы увеличите значение параметра max_user_watches, коллектор успешно продолжит работу.

  • Auditd – переключатель механизма, который группирует записи событий журнала auditd, полученные от коннектора, в одно событие.
  • Для Windows – переключатель, который в активном положении обеспечивает получение событий журнала Windows event log c Windows-агента. При этом переключатель Auditd должен быть выключен. По умолчанию переключатель Для Windows в неактивном положении.
  • Описание – описание ресурса: до 4000 символов в кодировке Unicode.
• Вкладка Дополнительные параметры:
  • Отладка – переключатель, с помощью которого можно указать, будет ли включено логирование ресурса. По умолчанию положение Выключено.
  • Размер буфера – параметр настройки размера буфера в байтах для накопления событий в оперативной памяти перед отправкой на хранение или для дальнейшей обработки.
    Значение по умолчанию: 1048576 байт (1 МБ).
    Допустимые значения: целое положительное число не больше 67108864 байт (64 МБ).
  • Количество обработчиков – параметр используется для установки количества служб, обрабатывающих очередь. Чтобы определить количество обработчиков, воспользуйтесь следующей формулой (<количество CPU>/2) + 2.
  • Интервал запросов, мс. – параметр для установки интервала, с которым коннектор будет повторно читать директорию с файлами. Значение задается в миллисекундах. Коннектор будет ждать заданное значение только если в файле нет изменений. То есть если файл постоянно изменяется, а Интервал запросов = 5000 миллисекунд, файлы в директории не будут перечитываться с интервалом 5 секунд, а будут перечитываться постоянно. Если в файле нет изменений, будет ожидание 5 секунд. Значение по умолчанию: 700 мс - соответствует значению 0 в веб-интерфейсе.
  • Кодировка символов – параметр для установки кодировки символов. Значение по умолчанию: UTF-8.
  • TTL буфера событий – время жизни буфера для группировки записей в одно событие auditd. Поле доступно, если переключатель Auditd находится в активном положении. Отсчет времени начинается с момента получения первой строки события или сразу после истечения предыдущего TTL. Доступные значения: от 50 мс до 3000 мс. Значение по умолчанию: 2000 мс.

В начало