Если вы хотите оптимизировать дисковое пространство и ускорить выполнение запросов в KUMA, вы можете отключить в ClickHouse партиции с данными, архивировать партиции или перенести их на носитель. При необходимости вы можете снова подключить необходимые партиции и выполнить обработку данных.
Отключение партиций
Чтобы отключить партиции, выполните следующие шаги:
sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "SELECT partition, name FROM system.parts;" |grep 20231130
В приведенном примере в результате выполнения команды будет получен идентификатор партиции от 30 ноября 2023 года.
sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 DETACH PARTITION ID '<идентификатор партиции>'"
В результате партиция отключена на всех репликах шарда. Теперь вы можете перенести каталог с данными на носитель или заархивировать партицию.
Архивирование партиций
Чтобы архивировать отключенные партиции:
sudo find /opt/kaspersky/kuma/clickhouse/data/ -name <идентификатор отключенной партиции>\*
Перейдите в каталог detached с отключенной партицией и, находясь в каталоге detached, выполните архивирование:
sudo cd <путь к каталогу detached, содержащему отключенную партицию>
sudo zip -9 -r detached.zip *
Например:
sudo cd /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/
sudo zip -9 -r detached.zip *
Архивирование партиции выполнено.
Подключение партиций
Чтобы подключить архивные партиции к KUMA, необходимо выполнить следующие действия:
KUMA удаляет данные на основании даты, указанной в поле Timestamp - когда событие получено, и на основании значения параметра Срок хранения, которое вы задали для хранилища.
Перед тем как выполнять восстановление архивных данных, убедитесь, что значение параметра Срок хранения перекрывает дату из поля Timestamp. В противном случае, архивные данные будут удалены в течение 1 часа.
sudo
unzip detached.zip -d <путь к каталогу detached>
Например:
sudo
unzip detached.zip -d /opt/kaspersky/kuma/clickhouse/data/store/d5b/d5bdd8d8-e1eb-4968-95bd-d8d8e1eb3968/detached/
sudo /opt/kaspersky/kuma/clickhouse/bin/client.sh -d kuma --multiline --query "ALTER TABLE events_local_v2 ATTACH PARTITION ID '<идентификатор партиции>'"
Повторите шаги распаковки архива и подключения партиции на каждой реплике шарда.
В результате архивная партиция подключена и события снова доступны для поиска.
В начало