Аппаратные и программные требования

Рекомендуемые требования к оборудованию

В этом разделе приведены требования к оборудованию для обработки различных вариантов потока событий в секунду (Events per Second, далее EPS), поступающих в KUMA.

В таблице ниже приведены аппаратные и программные требования к оборудованию для установки компонентов KUMA, исходя из представления, что кластер ClickHouse принимает только запросы INSERT. Требования к оборудованию для удовлетворения потребностей по запросам SELECT рассчитывается отдельно под конкретный профиль использования СУБД заказчика.

При расчете конфигурации кластера хранения необходимо учитывать не только количеcтво EPS, средний размер события и глубину хранения. При проектировании кластера необходимо учесть нюансы, которые в этой статье для удобства собраны в следующие разделы:

Дисковая подсистема
Сетевой интерфейс
Оперативная память
Профиль использования

Дисковая подсистема

Основная нагрузка на ClickHouse в KUMA - это вставки (запись):

События поступают в СУБД практически постоянным потоком.
Вставки, по меркам ClickHouse, частые и мелкие.
ClickHouse отличается высоким показателем write amplification за счет постоянных фоновых слияних кусков партиций (parts).
Часть партиции размером до 1 ГБ хранится в виде единственного файла. При превышении размера в 1 ГБ для части применяется wide column format, где каждая колонка таблицы представлена в виде двух файлов .dat и .mrk. В этом случае, для перезаписи части в результате ее слияния с другой частью, требуется запись в 384 файла + fsync на каждый - это большое количество IOPS.

Разумеется, ClickHouse одновременно выполняет и поисковые запросы, но их значительно меньше, чем операций записи. С учетом характера нагрузки, мы рекомендуем следующий подход к организации дисковой подсистемы:

Использовать DAS (Direct Attached Storage) c NVME или SAS/SATA-интерфейсами, избегая решений класса SAN/NAS.
Если узлы кластера ClickHouse развернуты в виртуальной среде, директория /opt/kaspersky/kuma должна быть напрямую смонтирована на дисковый массив. Не следует использовать виртуальные диски.
Если есть возможность использовать SSD (SATA/NVME) - это предпочтительный вариант. Любые SSD серверного класса обеспечат большую производительность, чем HDD (даже 15к RPM). Для SSD следует использовать RAID-10 или RAID-0, RAID-0 - при условии использования репликации в ClickHouse.
Если использование SSD невозможно, следует применять HDD 15к RPM, SAS, объединенные в RAID-10.
Допускается гибридный вариант - горячие данные (например, за последний месяц) хранятся на SSD, а холодные данные - на HDD. Таким образом операции записи всегда будут адресованы SSD-массивам.
Программный RAID массив (madm) всегда будет демонстрировать более высокую производительность и гибкость, чем аппаратный RAID-контроллер. При использовании RAID-0 или RAID-10 важно, чтобы stripe size был равен 1 МБ. Часто в аппаратных RAID-контроллерах stripe size по умолчанию выставлен в 64 КБ, а максимально доступное значение - 256-512 КБ. Для RAID-10 near-layout более оптимален для записи, а far-layout - для чтения. Это следует учитывать в случае использования гибридного варианта SSD + HDD.
Рекомендуемые файловые системы - EXT4 или XFS, желательно с опцией монтирования noatime.

Сетевой интерфейс

На каждом узле кластера должен быть установлен и соответствующим образом скоммутирован сетевой интерфейс с пропускной способностью не менее 10 Гбит/с. С учетом write amplification и репликации идеальным решением будет 25 Гбит/с.
При необходимости процессы репликации могут использовать обособленный сетевой интерфейс, который не обрабатывает трафик, связанный со вставками и поисковыми запросами.

Оперативная память

ClickHouse рекомендует придерживаться отношения RAM к объему хранимых данных равному 1:100.
Но сколько оперативной памяти потребуется, если на каждом узле предполагается хранить 50 ТБ, ведь зачастую глубина хранения событий определяется требованиями регулятора, и поисковые запросы не выполняются на всю глубину хранения? Поэтому рекомендацию можно трактовать следующим образом: если средняя глубина запроса предполагает сканирование партиций суммарным объемом в 10 ТБ, то потребуется 100 ГБ RAM. Это общая рекомендация, рассчитанная на широкие аналитические запросы.
В общем случае, наличие свободной памяти на сервере положительно влияет на производительность поисковых запросов по наиболее свежим событиям, так как содержимое файлов партиций будет продублировано в Page Cache OS, соответственно, считываться содержимое файлов будет из RAM, а не с диска.

Профиль использования

Требования к оборудованию расчитаны на поглощение СУБД потока в N EPS при нахождении СУБД в покое (поисковые запросы не выполняются, только вставки). На этапе внедрения KUMA не всегда представляется возможность точно ответить на следующие вопросы:

Какие поисковые и аналитические запросы будут выполняться в системе?
Какова интенсивность, конкурентность и глубина поисковых запросов?
Какова фактическая производительность узлов кластера?

Таким образом эволюция кластера ClickHouse в процессе эксплуатации KUMA является вполне нормальной практикой. Если в результате увеличения потока EPS или увеличения интенсивности/ресурсоемкости поисковых запросов кластер перестает справляться с нагрузкой, следует либо добавить больше шардов (горизонтальное масштабирование), либо усовершенствовать дисковые подсистемы / СPU / RAM на узлах кластера.

Конфигурацию оборудования необходимо подбирать исходя из профиля нагрузки системы. Допустимо использовать конфигурацию типа «All-in-one» при обрабатываемом потоке событий до 10 000 EPS и при использовании графических панелей, поставляемых с системой.

KUMA поддерживает работу с процессорами Intel или AMD с поддержкой набора инструкций SSE 4.2 и набора инструкций AVX.

	До 3000 EPS	До 10 000 EPS	До 20 000 EPS	До 50 000 EPS

Конфигурация	Установка на одном сервере Одно устройство. Характеристики устройства: От 16 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных – от 100 Мбит/с.	Установка на одном сервере Одно устройство. Характеристики устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Скорость передачи данных - от 100 Мбит/с.	1 сервер для Ядра + 1 сервер для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 2 сервера для Хранилища* *Рекомендуемая конфигурация. 2 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, доступимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 1 сервер для Хранилища.	1 сервер для Ядра + 2 сервера для Коллектора + 1 сервер для Коррелятора + 3 выделенных сервера с ролью Кипера + 4 сервера для Хранилища* *Рекомендуемая конфигурация. 4 сервера для Хранилища используются при конфигурации ClickHouse с 2 репликами в каждом шарде для обеспечения отказоустойчивости и доступности собранных в хранилище событий. Если требования отказоустойчивости к хранилищу не применяются, доступимо использовать конфигурацию ClickHouse с 1 репликой в каждом шарде и использовать, соответственно, 2 сервера для Хранилища.
Требования для компонента Ядро	-	-	Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.	Одно устройство. Характеристики устройства: От 10 потоков или vCPU. От 24 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
Требования для компонента Коллектор	-	-	Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.	Два устройства. Характеристики каждого устройства: От 8 потоков или vCPU. От 16 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
Требования для компонента Коррелятор	-	-	Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.	Одно устройство. Характеристики устройства: От 8 потоков или vCPU. От 32 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – допустим HDD. Скорость передачи данных - от 100 Мбит/с.
Требования для компонента Кипер	-	-	Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.	Три устройства. Характеристики каждого устройства: От 6 потоков или vCPU. От 12 ГБ оперативной памяти. От 50 ГБ в каталоге /opt. Тип хранилища данных – SSD. Скорость передачи данных - от 100 Мбит/с.
Требования к компоненту Хранилище	-	-	Два устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.	Четыре устройства. Характеристики каждого устройства: От 24 потоков или vCPU. От 64 ГБ оперативной памяти. От 500 ГБ в каталоге /opt. Тип хранилища данных – SSD*. Рекомендуемая скорость передачи данных между узлами ClickHouse должна быть не менее 10 Гбит/с, если поток событий равен или превышает 20 000 EPS.
Операционные системы	Ubuntu 22.04 LTS. Oracle Linux 8.6, 8.7, 9.2, 9.4. Astra Linux Special Edition РУСБ.10015-01 (2021-1126SE17 оперативное обновление 1.7.1). Astra Linux Special Edition РУСБ. 10015-01 (2022-1011SE17MD оперативное обновление 1.7.2.UU.1). Astra Linux Special Edition РУСБ.10015-01 (2022-1110SE17 оперативное обновление 1.7.3). Требуется версия ядра 5.15.0.33 или выше. Astra Linux Special Edition РУСБ.10015-01 (2023-0630SE17MD срочное оперативное обновление 1.7.4.UU.1). Astra Linux Special Edition РУСБ.10015-01 (2024-0212SE17MD срочное оперативное обновление 1.7.5.UU.1). Astra Linux Special Edition РУСБ.10015-01 (2024-0830SE17 срочное оперативное обновление 1.7.6). РЕД ОС 7.3.4, 8.
Криптонаборы TLS	Поддерживается протокол TLS версии 1.2 и 1.3. Интеграция с сервером, не поддерживающим версии и криптонаборы TLS, которые требует KUMA, невозможна. Поддерживаемые криптонаборы TLS 1.2: TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384. TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256. TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256. TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384. TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305_SHA256. TLS_ECDHE_ECDSA_WITH_AES_128_CBC_SHA256. Поддерживаемые криптонаборы TLS 1.3: TLS_AES_128_GCM_SHA256. TLS_AES_256_GCM_SHA384. TLS_CHACHA20_POLY1305_SHA256.

В зависимости от количества и сложности запросов к БД, выполняемых пользователями, отчётами, панелями мониторинга объём необходимых ресурсов может быть увеличен.

На каждые 50 000 (сверх 50 000) активов необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU и 4 ГБ оперативной памяти.

На каждые 100 (сверх 100) сервисов, которыми управляет компонент Ядро необходимо добавить к ресурсам компонента Ядро 2 дополнительных потока или vCPU.

Необходимо размещать ClickHouse на твердотельных накопителях (англ. solid state drive, далее - SSD). Использование SSD позволяет повысить скорость доступа к данным.

* - если профиль использования системы не предполагает выполнения агрегационных SQL-запросов к Хранилищу с глубиной больше 24 часов, допускается использовать дисковые массивы на базе HDD (HDD 15 000 RPM, интерфейс SAS, объединенные в RAID-10).

Для размещения данных с использованием технологии HDFS могут быть использованы жесткие диски.

Экспорт событий записывается на диск компонента Ядро во временную папку /opt/kaspersky/kuma/core/tmp/. Экспортированные данные хранятся в течение 10 суток, затем автоматически удаляются. Если вы планируете экспортировать большой объём событий, необходимо выделить дополнительное место.

Работа в виртуальных средах

Поддерживается установка KUMA в следующих виртуальных средах:

VMware 6.5 и выше.
Hyper-V для Windows Server 2012 R2 и выше.
QEMU-KVM 4.2 и выше.
ПК СВ "Брест" РДЦП.10001-02.

Рекомендации касательно ресурсов для компонента Коллектор

Следует учитывать, что для эффективной обработки событий количество ядер процессора важнее, чем их частота. Например, восемь ядер процессора со средней частотой будут эффективнее справляться с обработкой событий, чем четыре ядра с высокой частотой.

Также необходимо иметь в виду, что количество потребляемой коллектором оперативной памяти зависит от настроенных методов обогащения (DNS, учетные записи, активы, обогащение данными из Kaspersky CyberTrace) и использования агрегации (на потребление оперативной памяти влияет параметр окна агрегации данных, количество полей, по которым выполняется агрегация данных, объём данных в агрегируемых полях). Показатели использования KUMA вычислительных ресурсов зависят от типа анализируемых событий и от эффективности нормализатора.

Например, при потоке событий 1000 EPS и выключенном обогащении событий (обогащение событий выключено, агрегация событий выключена, 5000 учетных записей, 5000 активов в тенанте) одному коллектору требуются следующие ресурсы:

• 1 процессорное ядро или 1 виртуальный процессор;

• 512 МБ оперативной памяти;

• 1 ГБ дискового пространства (без учёта кэша событий).

Например, для 5 коллекторов, которые не выполняют обогащение событий потребуется выделить следующие ресурсы: 5 процессорных ядер, 2,5 ГБ оперативной памяти и 5 ГБ свободного дискового пространства.

Рекомендации экспертов "Лаборатории Касперского" для серверов хранилищ

Для подключения системы хранения данных (далее СХД) к серверам хранилища следует использовать высокоскоростные протоколы, например Fibre Channel или iSCSI 10G. Для подключения СХД не рекомендуется использовать протоколы прикладного уровня, такие как NFS и SMB.

На серверах кластера ClickHouse рекомендуется использовать файловую систему ext4.

При использовании RAID-массивов рекомендуется использовать RAID 0 для достижения высокой производительности, а RAID 10 для обеспечения высокой производительности и отказоустойчивости.

Для обеспечения отказоустойчивости и быстродействия подсистемы хранения данных мы рекомендуем разворачивать все узлы ClickHouse исключительно на разных дисковых массивах.

Если вы используете виртуализированную инфраструктуру для размещения компонентов системы, мы рекомендуем разворачивать узлы кластера ClickHouse на различных гипервизорах. При этом необходимо ограничить возможность работы двух виртуальных машин с ClickHouse на одном гипервизоре.

Для высоконагруженных инсталляций KUMA рекомендуется устанавливать ClickHouse на аппаратных серверах.

Требования к устройствам для установки агентов

Для передачи данных в коллектор KUMA на устройствах сетевой инфраструктуры требуется установить агенты. Требования к устройствам приведены в таблице ниже.

	Устройства с ОС Windows	Устройства с ОС Linux
Процессор	Одноядерный, 1.4 ГГц или выше.	Одноядерный, 1.4 ГГц или выше.
ОЗУ	512 МБ	512 МБ
Свободное дисковое пространство	1 ГБ	1 ГБ
Операционные системы	Microsoft® Windows® 2012. Поскольку для Microsoft® Windows® 2012 наступил конец жизненного цикла, эта OC поддерживается ограниченно. Microsoft Windows Server® 2012 R2. Microsoft Windows Server 2016. Microsoft Windows Server 2019. Microsoft Windows 10 20H2, 21H1.	Oracle® Linux версии 8.6, 8.7, 9.2. Astra Linux Special Edition РУСБ.10015-01 (2021-1126SE17 оперативное обновление 1.7.1). Astra Linux Special Edition РУСБ. 10015-01 (2022-1011SE17MD оперативное обновление 1.7.2.UU.1). Astra Linux Special Edition РУСБ.10015-01 (2022-1110SE17 оперативное обновление 1.7.3). Astra Linux Special Edition РУСБ.10015-01 (2023-0630SE17MD срочное оперативное обновление 1.7.4.UU.1).

Требования к клиентским устройствам для работы с веб-интерфейсом KUMA

Процессор: Intel® Core™ i3 8-го поколения.

ОЗУ: 8 ГБ.

Поддерживаемые браузеры:

Google™ Chrome™ 110 и выше.
Mozilla™ Firefox™ 110 и выше.

Требования к устройствам для установки KUMA в Kubernetes

Кластер Kubernetes для развертывания KUMA в отказоустойчивом варианте включает в минимальной конфигурации:

1 узел балансировщика – не входит в кластер;
3 узла-контроллера;
2 рабочих узла.

Минимальные аппаратные требования к устройствам для установки KUMA в Kubernetes представлены в таблице ниже.

	Балансировщик	Контроллер	Рабочий узел
Процессор	1 ядро с 2 потоками или 2 vCPU.	1 ядро с 2 потоками или 2 vCPU.	12 потоков или 12 vCPU.
ОЗУ	От 2 ГБ	От 2 ГБ	От 24 ГБ
Свободное дисковое пространство	От 30 ГБ	От 30 ГБ	От 1 ТБ в каталоге /opt/ От 32 ГБ в каталоге /var/lib/
Пропускная способность сети	10 Гбит/с	10 Гбит/с	10 Гбит/с

В начало