Коннектор, тип kafka

Развернуть все | Свернуть все

Коннекторы с типом kafka используются для коммуникации с шиной данных Apache Kafka при работе с агентами Windows и Linux. Доступные параметры коннектора с типом kafka описаны в таблицах ниже.

С помощью коннектора типа kafka KUMA может принимать события как в несжатом, так и в сжатом виде. Сжатие осуществляется с помощью следующих поддерживаемых kafka алгоритмов сжатия: gzip, snappy, zstd и lz4. При поступлении событий в сжатом виде декомпрессия событий происходит автоматически.

Вкладка Основные параметры

Параметр

Описание

Название

Уникальное имя ресурса. Максимальная длина имени составляет до 128 символов в кодировке Unicode.

Обязательный параметр.

Тенант

Название тенанта, которому принадлежит ресурс.

Обязательный параметр.

Тип

Тип коннектора – kafka.

Обязательный параметр.

Теги

Теги для поиска ресурса.

Необязательный параметр.

URL

URL-адрес, с которым требуется установить связь. Поддерживаются следующие форматы URL-адресов:

  • <имя устройства>:<номер порта>;
  • <IPv4-адрес>:<номер порта>;
  • <IPv6-адрес><номер порта>.

    IPv6-адреса можно указать в формате [<IPv6-адрес>%<интерфейс>:<номер порта>, например [fe80::5054:ff:fe4d:ba0c%eth0]:4222.

Вы можете добавить несколько URL-адресов и удалить URL-адрес. KUMA не позволяет сохранить ресурс или сервис если в поле URL есть знак табуляции или пробел. Для добавления URL-адреса нажмите на кнопку + Добавить. Для удаления URL-адреса нажмите рядом с ним на значок удаления Черный крестик..

Обязательный параметр.

Авторизация

Тип авторизации при подключении к URL, указанному в поле URL.

  • Выключена. Это значение выбрано по умолчанию.
  • Обычная. Этот тип авторизации осуществляется с помощью механизма SASL/PLAIN, который передает имя пользователя и пароль в открытом виде. Как правило, для обеспечения безопасности передачи данных (шифрования) в SASL/PLAIN используется TLS.

    При выборе этого значения в раскрывающемся списке Секрет укажите секрет, содержащий учетные данные пользователя для авторизации при подключении к точке назначения. Вы можете выбрать существующий секрет или создать секрет. Для создания нового секрета выберите значение Создать.

    Если вы хотите изменить параметры существующего секрета, нажмите рядом с ним на значок карандаша.

    Как создать секрет?

  • PFX – использовать шифрование TLS с PFX-секретом. Вам нужно сформировать сертификат с закрытым ключом в формате PKCS#12-контейнера во внешнем центре сертификации, экспортировать файл PFX из хранилища, после чего загрузить файл PFX в веб-интерфейс KUMA в виде PFX-секрета. При выборе этого значения в раскрывающемся списке PFX секрет укажите PFX-секрет с сертификатом, подписанным центром сертификации. Вы можете выбрать существующий PFX-секрет или создать PFX-секрет. Для создания нового PFX-секрета выберите значение Создать.

    Если вы хотите изменить параметры существующего секрета, нажмите рядом с ним на значок карандаша.

    Как создать PFX-секрет?

    Если для проверки сервера используется цепочка из нескольких сертификатов, для обеспечения правильной очередности сертификатов в цепочке рекомендуется собирать файл PFX с помощью OpenSSL.

  • SCRAM-SHA-256 – авторизация с помощью защищенного механизма подключения, который использует хеш SHA256 для безопасной проверки подлинности и предотвращает перехват данных.
  • SCRAM-SHA-512 – авторизация с помощью защищенного механизма подключения, который использует хеш SHA512 для безопасной проверки подлинности и предотвращает перехват данных.

    При выборе SCRAM-SHA-256 или SCRAM-SHA-512 в качестве типа авторизации в раскрывающемся списке Секрет укажите секрет с паролем для авторизации. Вы можете выбрать существующий секрет или создать новый секрет. Для создания нового секрета в раскрывающемся списке Секрет выберите значение Создать.

Топик

Тема сообщений Kafka. Максимальная длина сообщения составляет 255 символов. Недопустимо использование символов пробела и табуляции. Вы можете использовать следующие символы: a–z, A–Z, 0–9, ".", "_", "-".

Обязательный параметр.

Идентификатор группы

Значение параметра GroupID для сообщений Kafka. Максимальная длина значения: 255 символов. Вы можете использовать символы a–z, A–Z, 0–9, ".", "_", "-".

Разделитель

Символ, определяющий границу между событиями:

  • \n;
  • \t;
  • \0.

Если вы не выберете значение в этом раскрывающемся списке, по умолчанию будет выбрано пустое значение. В этом случае коннектор не будет разделять одно событие на несколько и передаст его в нормализатор без изменений.

Описание

Описание ресурса. Максимальная длина описания составляет до 4000 символов в кодировке Unicode.

Вкладка Дополнительные параметры

Параметр

Описание

Отладка

Переключатель, включающий логирование ресурса. По умолчанию переключатель выключен.

Количество обработчиков

Количество обработчиков, которые сервис может запускать одновременно для параллельной обработки событий.

Допускается указать целое положительное число не больше 999.

По умолчанию количество обработчиков равно 256.

Кодировка символов

Кодировка символов. По умолчанию выбрано значение UTF-8.

Режим TLS

Режим шифрования TLS. При использовании шифрования TLS вы не можете указать IP-адрес в поле URL на вкладке Основные параметры. Доступные значения:

  • Выключено – не использовать шифрование TLS. Это значение выбрано по умолчанию.

    Включено – использовать шифрование TLS, но без верификации сертификатов.

  • Нестандартный CA – использовать шифрование TLS с верификацией сертификата, подписанного центром сертификации. При выборе этого значения в раскрывающемся списке Нестандартный CA укажите секрет с сертификатом, подписанным центром сертификации. Вы можете выбрать существующий секрет или создать секрет. Для создания нового секрета выберите значение Создать.

    Если вы хотите изменить параметры существующего секрета, нажмите рядом с ним на значок карандаша.

    Как создать сертификат, подписанный центром сертификации?

    Для использования сертификатов KUMA на сторонних устройствах вам нужно изменить расширение файла сертификата с CERT на CRT. В противном случае вы можете получить ошибку x509: certificate signed by unknown authority.

Размер одного сообщения в запросе

Размер одного сообщения в запросе в байтах. Значение по умолчанию: 16 МБ, применяется если значение не указано или указано 0. Значение не может быть больше 2147483647 байт.

Максимальное время ожидания одного сообщения

Время ожидания одного сообщения в секундах. Значение по умолчанию: 5 секунд, применяется если значение не указано или указано 0. Максимально допустимое значение равно 2147483647.

Время ожидания подключения

Время ожидания установки соединения с брокером Kafka в секундах.

Максимально допустимое значение: 2147483647. По умолчанию 30 секунд.

Время ожидания чтения

Время ожидания операции чтения в секундах.

Максимально допустимое значение: 2147483647. По умолчанию 30 секунд.

Время ожидания записи

Время ожидания операции записи в секундах.

Максимально допустимое значение: 2147483647. По умолчанию 30 секунд.

Интервал обновления состояния группы

Интервал обновления состояния группы в секундах.

Интервал обновления не может превышать время сеанса. Рекомендуемое значение: 1/3 от времени сессии. Максимально допустимое значение: 2147483647. По умолчанию 3 секунды.

Время сессии

Время сеанса в секундах.

Максимально допустимое значение: 2147483647. По умолчанию 10 секунд.

Максимальное время обработки одного сообщения

Максимальное время обработки одного сообщения одним потоком в миллисекундах.

Максимально допустимое значение: 2147483647. По умолчанию 100 миллисекунд.

Включить автокоммит

По умолчанию включено.

Интервал автокоммита

Интервал автокоммита в секундах. По умолчанию 1 секунда.

Максимально допустимое значение: 18446744073709551615. Можно указать любое положительное число.

 

 

 

 

 

 

 

В начало