Создание набора ресурсов для хранилища

Сервис хранилища в веб-интерфейсе KUMA создается на основе набора ресурсов для хранилища.

Чтобы создать набор ресурсов для хранилища в веб-интерфейсе KUMA:

  1. В веб-интерфейсе KUMA в разделе РесурсыХранилища нажмите Добавить хранилище.

    Откроется окно Создание хранилища.

  2. На вкладке Основные параметры в поле Название хранилища введите уникальное имя создаваемого сервиса. Название должно содержать от 1 до 128 символов в кодировке Unicode.
  3. В раскрывающемся списке Тенант выберите тенант, которому будет принадлежать хранилище.
  4. В поле Описание можно добавить описание сервиса: до 256 символов в кодировке Unicode.
  5. В поле Срок хранения укажите, в течение какого количества дней с момента поступления вы хотите хранить события в кластере ClickHouse. По истечении указанного срока события будут автоматически удалены из кластера ClickHouse. Если настроено холодное хранение событий и срок хранения событий в кластере ClickHouse истек, данные переносятся на диски холодного хранения. Если диск холодного хранения настроен неверно, данные удаляются.
  6. В поле Срок хранения событий аудита укажите, в течение какого количества дней вы хотите хранить события аудита. Минимальное значение и значение по умолчанию: 365.
  7. При необходимости холодного хранения данных введите сроки хранения событий:
    • Срок холодного хранения – количество дней хранения событий. Минимальное значение – 1.
    • Срок холодного хранения событий аудита – количество дней хранения событий аудита. Минимальное значение – 0.
  8. С помощью переключателя Отладка укажите, будет ли включено логирование ресурса. Значение по умолчанию: Выключено - это означает, что для всех компонентов KUMA в журнале регистрируются только ошибки. Если вы хотите получать детализированные данные в журналах, выберите значение Включено.
  9. При необходимости изменения параметров ClickHouse в поле Переопределение параметров ClickHouse вставьте строки c параметрами из XML-файла конфигурации ClickHouse /opt/kaspersky/kuma/clickhouse/cfg/config.xml. Указание корневых элементов <yandex>, </yandex> не требуется. Переданные в поле параметры конфигурации будут использоваться вместо параметров по умолчанию.

    Пример:

    <merge_tree>

    <parts_to_delay_insert>600</parts_to_delay_insert>

    <parts_to_throw_insert>1100</parts_to_throw_insert>

    </merge_tree>

  10. При необходимости в разделе Пространства добавьте в хранилище пространства, по которым вы хотите распределять хранимые события.

    Пространств может быть несколько. Пространства можно добавить с помощью кнопки Добавить пространство и удалить с помощью кнопки Удалить пространство.

    Доступные параметры:

    • В поле Название укажите название пространства: от 1 до 128 символов в кодировке Unicode.
    • В поле Срок хранения укажите количество дней, в течение которых события будут храниться в кластере ClickHouse.
    • При необходимости в поле Срок холодного хранения укажите количество дней, в течение которого события должны находиться на холодном хранении. Минимальное значение – 1.
    • В разделе Фильтр можно задать условия определения событий, которые будут помещаться в это пространство. В раскрывающемся списке можно выбрать существующий фильтр или Создать новый фильтр.

      Создание фильтра в ресурсах

    После создания сервиса пространства можно просматривать и удалять в параметрах набора ресурсов хранилища.

    Нет необходимости создавать отдельное пространство для событий аудита. События этого типа (Type=4) автоматически помещаются в отдельное пространство Audit со сроком хранения не менее 365 дней, которое недоступно для редактирования или удаления из веб-интерфейса KUMA.

  11. При необходимости в разделе Диски холодного хранения добавьте в хранилище диски, на которые вы хотите переносить события на длительное хранение из кластера ClickHouse.

    Дисков может быть несколько. Диски можно добавить с помощью кнопки Добавить диск и удалить с помощью кнопки Удалить диск.

    Доступные параметры:

    • В раскрывающемся списке Тип выберите тип подключаемого диска:
      • Локальный – для дисков, смонтированных в операционной системе как директории.
      • HDFS – для дисков распределенной файловой системы Hadoop Distributed File System.
    • В поле Название укажите название диска. Название должно содержать от 1 до 128 символов в кодировке Unicode.
    • Если в качестве типа диска вы выбрали Локальный, в поле Путь введите абсолютный путь директории смонтированного локального диска. Путь должен начинаться и оканчиваться символом "/".
    • Если в качестве типа диска вы выбрали HDFS, в поле Хост введите путь к HDFS. Например: hdfs://hdfs1:9000/clickhouse/.
  12. При необходимости в разделе Узлы кластера ClickHouse добавьте в хранилище узлы кластера ClickHouse.

    Узлов может быть несколько. Узлы можно добавить с помощью кнопки Добавить узел и удалить с помощью кнопки Удалить узел.

    Доступные параметры:

    • В поле Полное доменное имя укажите FQDN добавляемого узла. Например, kuma-storage-cluster1-server1.example.com.
    • В полях идентификаторов шарда, реплики и кипера укажите роль узла в кластере ClickHouse. Идентификаторы шарда и кипера должны быть уникальными в рамках кластера, идентификатор реплики должен быть уникальным в рамках шарда. Ниже показан пример заполнения раздела Узлы кластера ClickHouse для хранилища с выделенными киперами в распределенной схеме установки. Вы можете адаптировать пример для своих потребностей.

      Пример:

      Узлы кластера ClickHouse

      Полное доменное имя: kuma-storage-cluster1-server1.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 1

      Полное доменное имя: kuma-storage-cluster1server2.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 2

      Полное доменное имя: kuma-storage-cluster1server3.example.com

      Идентификатор шарда: 0

      Идентификатор реплики: 0

      Идентификатор кипера: 3

      Полное доменное имя: kuma-storage-cluster1server4.example.com

      Идентификатор шарда: 1

      Идентификатор реплики: 1

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server5.example.com

      Идентификатор шарда: 1

      Идентификатор реплики: 2

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server6.example.com

      Идентификатор шарда: 2

      Идентификатор реплики: 1

      Идентификатор кипера: 0

      Полное доменное имя: kuma-storage-cluster1server7.example.com

      Идентификатор шарда: 2

      Идентификатор реплики: 2

      Идентификатор кипера: 0

  13. Начиная с версии 2.1.3 доступна вкладка Дополнительные параметры. На вкладке Дополнительные параметры в поле Размер буфера укажите размер буфера в байтах, при достижении которого следует передать события в базу. Значение по умолчанию — 64 МБ. Максимального значения нет. Если на виртуальной машине меньше свободной памяти, чем заданное значение Размер буфера, KUMA установит ограничение в 128 МБ.
  14. На вкладке Дополнительные параметры в поле Интервал очистки буфера укажите интервал в секундах, в течение которого KUMA будет ждать заполнения буфера. Если буфер не заполнен, но указанное время прошло, KUMA передает события в базу. Значение по умолчанию 1 с.
  15. На вкладке Дополнительные параметры в поле Размер дискового буфера укажите значение в байтах. Дисковый буфер используется для временного размещения тех событий, которые не удалось отправить для дальнейшей обработки или хранения. Если выделенное под дисковый буфер дисковое пространство исчерпано, события ротируются по следующему правилу: новые события замещают самые старые события, записанные в буфер. Значение по умолчанию: 10 ГБ.
  16. На вкладке Дополнительные параметры в раскрывающемся списке Дисковый буфер выберите значение, с помощью которого можно Включить или Выключить использование дискового буфера. По умолчанию дисковый буфер включен.
  17. На вкладке Дополнительные параметры в раскрывающемся списке Запись в локальную таблицу базы данных выберите значение, с помощью которого можно Включить или Выключить запись. По умолчанию запись отключена.

    В режиме Включить запись будет выполняться только на том узле, на котором установлено хранилище. Мы рекомендуем использовать эту функцию только при условии, что у вас настроена балансировка на коллекторе и/или корреляторе: в коллекторе и/или корреляторе на шаге 6. Маршрутизация в разделе Дополнительные настройки в поле Политика выбора URL установлено значение По очереди.

    В режиме Выключить данные распределяются по шардам кластера.

Набор ресурсов для хранилища создан и отображается в разделе РесурсыХранилища. Теперь можно создать сервис хранилища.

В начало