Рекомендуемые требования к оборудованию
В этом разделе приведены требования к оборудованию для обработки различных вариантов потока событий в секунду (Events per Second, далее EPS), поступающих в KUMA.
В таблице ниже приведены аппаратные и программные требования к оборудованию для установки компонентов KUMA. Конфигурацию оборудования необходимо подбирать исходя из профиля нагрузки системы. Допустимо использовать конфигурацию типа «All-in-one» при обрабатываемом потоке событий до 10 000 EPS и при использовании графических панелей, поставляемых с системой.
KUMA поддерживает работу с процессорами Intel или AMD с поддержкой набора инструкций SSE 4.2 и набора инструкций AVX.
|
До 3000 EPS |
До 10 000 EPS |
До 20 000 EPS |
До 50 000 EPS |
---|---|---|---|---|
Конфигурация |
Установка на одном сервере
Одно устройство. Характеристики устройства: От 16 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных – от 100 Мбит/с.
|
Установка на одном сервере
Одно устройство. Характеристики устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных - от 100 Мбит/с.
|
1 сервер для Ядра + 1 сервер для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 2 сервера для Хранилища* *Рекомендуемая конфигурация. 2 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, доступимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 1 сервер для Хранилища.
|
1 сервер для Ядра + 2 сервера для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 4 сервера для Хранилища* *Рекомендуемая конфигурация. 4 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, доступимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 2 сервера для Хранилища.
|
Требования для компонента Ядро |
- |
- |
Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
|
Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
|
Требования для компонента Коллектор |
- |
- |
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
|
Два устройства. Характеристики каждого устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
|
Требования для компонента Коррелятор |
- |
- |
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
|
Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
|
Требования для компонента Кипер |
- |
- |
Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
|
Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
|
Требования к компоненту Хранилище |
- |
- |
Два устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.
|
Четыре устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.
|
Операционные системы |
|
|||
Криптонаборы TLS |
|
В зависимости от количества и сложности запросов к БД, выполняемых пользователями, отчётами, панелями мониторинга объём необходимых ресурсов может быть увеличен.
На каждые 50 000 (сверх 50 000) активов необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU и 4 ГБ оперативной памяти.
На каждые 100 (сверх 100) сервисов, которыми управляет компонент Ядро необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU.
Необходимо размещать ClickHouse на твердотельных накопителях (англ. solid state drive, далее - SSD). Использование SSD позволяет повысить скорость доступа к данным.
* - если профиль использования системы не предполагает выполнения агрегационных SQL-запросов с большой глубиной к Хранилищу, допускается использовать дисковые массивы на базе HDD.
Для размещения данных с использованием технологии HDFS могут быть использованы жесткие диски.
Экспорт событий записывается на диск компонента Ядро во временную папку /opt/kaspersky/kuma/core/tmp/. Экспортированные данные хранятся в течение 10 суток, затем автоматически удаляются. Если вы планируете экспортировать большой объём событий, необходимо выделить дополнительное место.
Работа в виртуальных средах
Поддерживается установка KUMA в следующих виртуальных средах:
Рекомендации касательно ресурсов для компонента Коллектор
Следует учитывать, что для эффективной обработки событий количество ядер процессора важнее, чем их частота. Например, восемь ядер процессора со средней частотой будут эффективнее справляться с обработкой событий, чем четыре ядра с высокой частотой.
Также необходимо иметь в виду, что количество потребляемой коллектором оперативной памяти зависит от настроенных методов обогащения (DNS, учетные записи, активы, обогащение данными из Kaspersky CyberTrace) и использования агрегации (на потребление оперативной памяти влияет параметр окна агрегации данных, количество полей, по которым выполняется агрегация данных, объём данных в агрегируемых полях). Показатели использования KUMA вычислительных ресурсов зависят от типа анализируемых событий и от эффективности нормализатора.
Например, при потоке событий 1000 EPS и выключенном обогащении событий (обогащение событий выключено, агрегация событий выключена, 5000 учетных записей, 5000 активов в тенанте) одному коллектору требуются следующие ресурсы:
• 1 процессорное ядро или 1 виртуальный процессор;
• 512 МБ оперативной памяти;
• 1 ГБ дискового пространства (без учёта кэша событий).
Например, для 5 коллекторов, которые не выполняют обогащение событий потребуется выделить следующие ресурсы: 5 процессорных ядер, 2,5 ГБ оперативной памяти и 5 ГБ свободного дискового пространства.
Рекомендации экспертов "Лаборатории Касперского" для серверов хранилищ
Для подключения системы хранения данных (далее СХД) к серверам хранилища следует использовать высокоскоростные протоколы, например Fibre Channel или iSCSI 10G. Для подключения СХД не рекомендуется использовать протоколы прикладного уровня, такие как NFS и SMB.
На серверах кластера ClickHouse рекомендуется использовать файловую систему ext4.
При использовании RAID-массивов рекомендуется использовать RAID 0 для достижения высокой производительности, а RAID 10 для обеспечения высокой производительности и отказоустойчивости.
Для обеспечения отказоустойчивости и быстродействия подсистемы хранения данных мы рекомендуем разворачивать все узлы ClickHouse исключительно на разных дисковых массивах.
Если вы используете виртуализированную инфраструктуру для размещения компонентов системы, мы рекомендуем разворачивать узлы кластера ClickHouse на различных гипервизорах. При этом необходимо ограничить возможность работы двух виртуальных машин с ClickHouse на одном гипервизоре.
Для высоконагруженных инсталляций KUMA рекомендуется устанавливать ClickHouse на аппаратных серверах.
Требования к устройствам для установки агентов
Для передачи данных в коллектор KUMA на устройствах сетевой инфраструктуры требуется установить агенты. Требования к устройствам приведены в таблице ниже.
|
Устройства с ОС Windows |
Устройства с ОС Linux |
---|---|---|
Процессор |
Одноядерный, 1.4 ГГц или выше. |
Одноядерный, 1.4 ГГц или выше. |
ОЗУ |
512 МБ |
512 МБ |
Свободное дисковое пространство |
1 ГБ |
1 ГБ |
Операционные системы |
|
|
Требования к клиентским устройствам для работы с веб-интерфейсом KUMA
Процессор: Intel® Core™ i3 8-го поколения.
ОЗУ: 8 ГБ.
Поддерживаемые браузеры:
Требования к устройствам для установки KUMA в Kubernetes
Кластер Kubernetes для развертывания KUMA в отказоустойчивом варианте включает в минимальной конфигурации:
Минимальные аппаратные требования к устройствам для установки KUMA в Kubernetes представлены в таблице ниже.
|
Балансировщик |
Контроллер |
Рабочий узел |
---|---|---|---|
Процессор |
1 ядро с 2 потоками или 2 vCPU. |
1 ядро с 2 потоками или 2 vCPU. |
12 потоков или 12 vCPU. |
ОЗУ |
От 2 ГБ |
От 2 ГБ |
От 24 ГБ |
Свободное дисковое пространство |
От 30 ГБ |
От 30 ГБ |
От 1 ТБ в каталоге /opt/
От 32 ГБ в каталоге /var/lib/
|
Пропускная способность сети |
10 Гбит/с |
10 Гбит/с |
10 Гбит/с |