Для улучшения работы сайта мы используем файлы cookies. Оставаясь на сайте, вы соглашаетесь с политикой обработки персональных данных.

Архитектура

arch metrics
Рисунок 1. Архитектура модуля zVirt Metrics
Слой приложения

  • Analytics-front — компонент, предоставляющий конечным пользователям интерактивный интерфейс для управления zVirt: постановка на аналитику, удаление, включение и выключение сбора данных

  • Analytics-manager — компонент, предоставляющий API-интерфейс для Analytics-front

  • RabbitMQ — брокер сообщений

  • Virt Exporter — сервис, который собирает данные с платформ виртуализации и преобразует их в информацию для мониторинга VictoriaMetrics

Слой аналитики

  • Airflow — платформа управления обработкой данных

  • Spark — компонент обработки данных и аналитики в реальном времени

  • Superset — платформа аналитики и визуализации данных

  • Grafana — платформа мониторинга и визуализации данных

Слой хранения

  • HAProxy — балансировщик нагрузки

  • PGBouncer — промежуточный сервер, который управляет соединениями с PostgreSQL

  • PostgreSQL — СУБД на базе SQL

  • ClickHouse — столбцовая СУБД для онлайн-аналитической обработки

  • Zookeeper — служба для координации распределенных систем. Распределённые системы записывают в базу Zookeeper конфигурации и служебную информацию

  • MinIO —  объектное хранилище для размещения фрагментов журналов (логов) и индексированных данных

  • Loki — система хранения и анализа журналов, использующая объектное хранилище для долгосрочного сохранения данных

  • StarVault — сервис централизованного хранения и защиты конфиденциальной информации

  • KeyDB — высокопроизводительное хранилище данных

  • Хранилище метрик — масштабируемая СУБД для сбора, хранения и анализа метрик в режиме реального времени. Доступные хранилища по умолчанию:

    • hot — горячее хранилище: интервал сохранения данных — 30 секунд, срок хранения — до 1 месяца

    • cold — холодное хранилище: интервал сохранения данных — до 5 минут, срок хранения — до 1 года

Инфраструктурный слой

  • Vault-Unseal — компонент дешифрации хранилища

  • Altinity-Clickhouse-operator — компонент, который создает, настраивает и управляет кластерами ClickHouse, работающими на Kubernetes

  • Ingress-nginx — компонент управления сетевым трафиком в кластере Kubernetes

  • Kong — шлюз для пользовательских и сервисных запросов. Через Kong пользователь обращается по протоколу REST API к сервисам, представленным на схеме

  • Keycloak — компонент, реализующий аутентификацию и авторизацию пользователей, с возможностью управления доступом

  • Nexus — менеджер репозиториев для хранения и управления данными

  • CoreDNS — DNS-сервер для разрешения имен в Kubernetes

  • Longhorn — распределенное блочное хранилище с функциями резервного копирования и восстановления для кластеров Kubernetes

  • Headlamp — пользовательский интерфейс для работы с Kubernetes

  • Kubernetes-Event-Exporter — компонент для экспорта событий из кластера Kubernetes

  • Vector — компонент логирования, выполняет сбор данных с добавлением метаданных

  • Vector-aggregator — выполняет преобразование данных перед их отправкой в хранилище