Коннектор, тип file

Коннекторы с типом file используются для получения данных из текстовых файлов при работе с агентами Windows и Linux. Одна строка текстового файла считается одним событием. В качестве разделителя строк используется \n.

Если при создании коллектора на шаге Транспорт мастера установки вы указали коннектор с типом file, на шаге Парсинг событий в таблице Сопоставление вы можете передать в поле события KUMA название обрабатываемого коллектором файла или путь к файлу. Для этого в столбце Исходные данные укажите одно из следующих значений:

$kuma_fileSourceName – передать в поле события KUMA название обрабатываемого коллектором файла.
$kuma_fileSourcePath – передать в поле события KUMA путь к обрабатываемому коллектором файлу.

Когда вы используете коннектор с типом file, новые переменные в нормализаторе будут работать только с точками назначения с типом internal.

Для чтения Windows-файлов вам нужно создать коннектор с типом file и установить агент на Windows вручную. В одном Windows-агенте вы можете настроить несколько соединений разного типа, но тип file должен быть один. Windows-агент не должен читать свои файлы в папке, где установлен агент.

Мы не рекомендуем запускать агент под учетной записью администратора; необходимо, чтобы права чтения на папки/файлы были настроены для учетной записи агента. Мы не рекомендуем ставить агент на важные системы, лучше пересылать журналы и читать их на отдельных хостах с агентом.

Для каждого файла, с которым взаимодействует коннектор с типом file, создается файл состояния (states.ini) с параметрами offset, dev, inode и filename. Файл состояния позволяет коннектору при перечитывании файла возобновлять чтение с места, где коннектор остановился в последний раз, а не начинать чтение заново. Существуют следующие особенности перечитывания файлов:

Если параметр inode в файле состояния изменится, при перечитывании файла, которому соответствует файл состояния, коннектор начнет чтение заново. При удалении и повторном создании файла параметр inode в соответствующем файле состояния может не измениться. В этом случае при перечитывании файла коннектор возобновит чтение на основании параметра offset.
Если файл был обрезан или уменьшился его размер, при перечитывании файла коннектор начнет чтение заново.
Если файл был переименован, при перечитывании файла коннектор возобновит чтение с места, где коннектор остановился в последний раз.
Если директория с файлом была перемонтирована, при перечитывании файла коннектор возобновит чтение с места, где коннектор остановился в последний раз. Вы можете указать путь к файлам, с которыми взаимодействует коннектор, при настройке коннектора в поле Путь к файлу.

Доступные параметры коннектора с типом file описаны в таблицах ниже.

Вкладка Основные параметры

Параметр	Описание
Название	Уникальное имя ресурса. Максимальная длина имени составляет до 128 символов в кодировке Unicode. Обязательный параметр.
Тенант	Название тенанта, которому принадлежит ресурс. Обязательный параметр.
Тип	Тип коннектора – file. Обязательный параметр.
Теги
Путь к файлу	Полный путь к файлу, с которым коннектор выполняет взаимодействие. Например, `/var/log/som?[1-9].log` или `с:\folder\logs.`. Недопустимо указывать следующие пути: `(?i)^[a-zA-Z]:\\Program Files`. `(?i)^[a-zA-Z]:\\Program Files $x86$`. `(?i)^[a-zA-Z]:\\Windows`. `(?i)^[a-zA-Z]:\\ProgramData\\Kaspersky Lab\\KUMA`. Шаблоны масок для файлов и директорий Маски: `''` – соответствует любой последовательности символов; `'[' [ '^' ] { <диапазон символов> } ']'` – класс символов (не должен быть пустым); `'?'` – соответствует любому одиночному символу. Диапазоны символов: `[0-9]` – числа; `[a-zA-Z]` – буквы латинского алфавита. Примеры: `/var/log/som?[1-9].log` `/mnt/dns_logs//dns.log` `/mnt/proxy/access.log` Ограничения при использовании префиксов к путям файлов Префиксы, которые невозможно использовать при указании путей к файлам: `/` `/bin` `/boot` `/dev` `/etc` `/home` `/lib` `/lib64` `/proc` `/root` `/run` `/sys` `/tmp` `/usr/` `/usr/bin/` `/usr/local/` `/usr/local/sbin/` `/usr/local/bin/` `/usr/sbin/` `/usr/lib/` `/usr/lib64/` `/var/` `/var/lib/` `/var/run/` `/opt/kaspersky/kuma/` Файлы по указанным ниже путям доступны: `/opt/kaspersky/kuma/clickhouse/logs/` `/opt/kaspersky/kuma/mongodb/log/` `/opt/kaspersky/kuma/victoria-metrics/log/` Ограничение количества отслеживаемых файлов по маске Количество одновременно отслеживаемых файлов по маске может быть ограничено параметром Ядра `max_user_watches`. Для просмотра значения параметра выполните команду: `cat /proc/sys/fs/inotify/max_user_watches` Если количество файлов для отслеживания превышает значение параметра `max_user_watches`, коллектор больше не сможет считывать события из файлов и в журнале коллектора появится следующая ошибка: `Failed to add files for watching {"error": "no space left on device"}` Для продолжения правильной работы коллектора вы можете настроить правильную ротацию файлов, чтобы количество файлов не превышало значение параметра `max_user_watches`, или увеличить значение `max_user_watches`. Для увеличения значения параметра выполните команду: `sysctl fs.inotify.max_user_watches=<количество файлов>` `sysctl -p` Вы можете добавить значение параметра `max_user_watches` в sysctl.conf, чтобы значение сохранялось всегда. После того, как вы увеличите значение параметра `max_user_watches`, коллектор успешно продолжит работу. Обязательный параметр.
Время ожидания изменений, сек	Время в секундах, в течение которого файл не должен обновляться, чтобы KUMA выполнила с ним действие, указанное в раскрывающемся списке Действие после таймаута. Значение по умолчанию: `0` – если файл не обновляется, KUMA не выполняет с ним никакого действия. Введенное значение не должно быть меньше значения, которое вы ввели на вкладке Дополнительные параметры в поле Интервал запросов, мс.
Действие после таймаута	Действие, которое KUMA выполняет с файлом по прошествии времени, указанного в поле Время ожидания изменений, сек: Ничего не делать. Значение по умолчанию. Добавление суффикса – добавить к названию файла расширение .kuma_processed и не обрабатывать файл даже при его обновлении. Удаление – удалить файл.
Auditd	Переключатель, включающий механизм auditd, который группирует полученные от коннектора строки событий auditd в одно событие auditd. Если вы включили этот переключатель, вы не можете выбрать значение в раскрывающемся списке Разделитель, так как для механизма auditd автоматически выбирается значение \n. Если вы включили этот переключатель в параметрах коннектора агента, вам нужно выбрать значение \n в раскрывающемся списке Разделитель в параметрах коннектора коллектора, в который агент отправляет события. Максимальный размер сгруппированного события auditd составляет примерно 4 174 304 символов.
Описание	Описание ресурса. Максимальная длина описания составляет до 4000 символов в кодировке Unicode.

Вкладка Дополнительные параметры

Параметр	Описание
Отладка	Переключатель, включающий логирование ресурса. По умолчанию этот переключатель выключен.
Размер буфера	Размер буфера в байтах для накопления событий в оперативной памяти сервера перед отправкой на дальнейшую обработку или хранение. Вы можете указать целое положительное число. Размер буфера по умолчанию: 1 048 576 байт (1 МБ). Максимальный размер буфера: 67 108 864 байта (64 МБ).
Количество обработчиков	Количество обработчиков, которые сервис может запускать одновременно для параллельной обработки событий. Для определения количества обработчиков вы можете использовать формулу (<количество CPU>/2) + 2.
Режим опроса файла/папки	Режим, в котором коннектор перечитывает файлы в директории: Отслеживать изменения – коннектор перечитывает файлы в директории с интервалом в миллисекундах, указанным в поле Интервал запросов, мс., если файлы не обновляются. Значение по умолчанию. Например, если файлы постоянно обновляются, а в поле Интервал запросов, мс. вы ввели `5000`, коннектор будет перечитывать файлы постоянно, а не с интервалом в 5000 миллисекунд. Если файлы не обновляются, коннектор будет перечитывать их с интервалом в 5000 миллисекунд. Отслеживать периодически – коннектор перечитывает файлы в директории с интервалом в миллисекундах, указанным в поле Интервал запросов, мс., вне зависимости от того, обновляются файлы или нет.
Интервал запросов, мс.	Интервал в миллисекундах, с которым коннектор перечитывает файлы в директории. Значение по умолчанию: `0` – коннектор перечитывает файлы в директории каждые 700 миллисекунд. Вам нужно выбрать в раскрывающемся списке Режим опроса файла/папки режим, в котором коннектор перечитывает файлы в директории. Введенное значение не должно быть меньше значения, которое вы ввели на вкладке Основные параметры в поле Время ожидания изменений, сек. Мы рекомендуем ввести значение меньше, чем значение, которое вы ввели в поле TTL буфера событий, так как это может негативно сказаться на работе функции Auditd.
Кодировка символов	Кодировка символов. По умолчанию выбрано значение UTF-8.
TTL буфера событий	Время жизни буфера для строк событий auditd в миллисекундах. Строки событий auditd попадают в коллектор KUMA и накапливаются в буфере. Это позволяет сгруппировать несколько строк событий auditd в одно событие auditd. Отсчет времени жизни буфера начинается при получении первой строки события auditd или при истечении предыдущего времени жизни буфера. Доступные значения: от 700 до 30 000. Значение по умолчанию: `2000`. Это поле доступно, если вы включили переключатель Auditd на вкладке Основные параметры. Строки событий auditd, накопленные в буфере, хранятся в оперативной памяти сервера. Мы рекомендуем с осторожностью увеличивать размер буфера, так как это может привести к использованию слишком большого количества оперативной памяти сервера коллектором KUMA. Вы можете просмотреть в метриках KUMA, сколько оперативной памяти сервера использует коллектор KUMA. Если вы хотите, чтобы время жизни буфера составляло более 30 000 миллисекунд, мы рекомендуем использовать другой транспорт доставки событий auditd. Например, вы можете использовать агента или предварительно накапливать события auditd в файле, после чего обрабатывать файл коллектором KUMA.
Заголовок транспорта	Регулярное выражение для событий auditd, по которому определяются строки событий auditd. Вы можете использовать значение по умолчанию или изменить его. Регулярное выражение должно содержать группы `record_type_name`, `record_type_value` и `event_sequence_number`. Если многострочное событие auditd содержит префикс, для первой строки события auditd префикс сохраняется, а для последующих – отбрасывается. Вы можете вернуться регулярному выражению для событий auditd по умолчанию, нажав на кнопку Установить значение по умолчанию.

В начало