Для улучшения работы сайта мы используем файлы cookies. Оставаясь на сайте, вы соглашаетесь с политикой обработки персональных данных.

О платформе StarGuard AI

Платформа предназначена для обеспечения безопасного и контролируемого взаимодействия с большими языковыми моделями (Large Language Models, LLM) в корпоративных и критичных к безопасности средах. Решение ориентировано на снижение рисков, связанных с утечкой данных, нарушением требований информационной безопасности и неконтролируемым использованием LLM.

Решение состоит из двух основных модулей:

StarGuard Base — платформа централизованного управления, которая хранит конфигурации шлюзов, политики безопасности, результаты проверок и события, ведёт аналитику и биллинг, управляет сканированием моделей, а также предоставляет единый административный интерфейс для управления несколькими экземплярами шлюзов.

StarGuard Gate — сам LLM-Firewall, реализованный в виде прокси-сервера: он располагается между конечными пользователями, прикладными системами и языковыми моделями, перехватывает трафик, анализирует запросы и ответы и применяет политики безопасности без необходимости модификации клиентских приложений.

1. Анализ запросов и ответов LLM

Платформа выполняет комплексный анализ как запросов, направляемых в LLM, так и ответов, получаемых от них. Анализ осуществляется в режиме реального времени и включает следующие механизмы:

  • Проверка по регулярным выражениям — выявление заданных шаблонов данных, включая идентификаторы, коды, номера документов и иные чувствительные конструкции.

  • Поиск чувствительных и персональных данных — обнаружение персональных данных и иной конфиденциальной информации. Набор анализируемых классов информации (ФИО, паспорт, СНИЛС, ИНН, банковские реквизиты, документы отдельных стран и т.д.) настраивается администратором.

  • Фильтрация по тематикам — ограничение работы с LLM по заданным тематикам (например, политика, медицина, право, внутренние корпоративные данные), а также фильтрация токсичного и иного нежелательного контента в зависимости от принятых политик безопасности.

  • Защита от Prompt Injection — обнаружение и предотвращение попыток манипуляции поведением языковой модели, направленных на обход ограничений или извлечение запрещённой информации.

  • Контроль вызовов инструментов (tool calls) — проверка аргументов вызовов внешних инструментов агентскими LLM-сценариями по политикам с поддержкой режимов blacklist и whitelist на основе регулярных выражений.

  • Определение языка запроса — ограничение работы с LLM по списку разрешённых и запрещённых языков.

  • Маскирование чувствительных и персональных данных — автоматическая подмена или скрытие конфиденциальных данных в запросах и/или ответах перед их передачей пользователю или LLM с последующим обратным замещением (демаскированием) в ответе.

  • Передача на анализ во внешние сервисы — пользовательский (WebHook) детектор передаёт текст запроса или ответа во внешний HTTP-сервис заказчика (например, DLP-систему) и применяет его вердикт: пропустить, заблокировать или заменить фрагменты текста.

2. Работа с файлами и изображениями

Платформа поддерживает передачу содержимого файлов в большие языковые модели с последующим анализом данных. Реализована обработка следующих форматов:

  • DOC, DOCX

  • XLS, XLSX

  • PDF

  • PNG, JPG, JPEG

Ключевой принцип: в языковую модель, из документа уходит только текст. Вложение распознаётся сервисом File Recognizer и заменяется в теле запроса текстовым блоком, после чего проходит те же механизмы анализа и фильтрации, что и обычный текстовый запрос. Всё, что нельзя перевести в текст (ссылка на файловое хранилище провайдера, URL, аудио), отклоняется.

Поведение шлюза при работе с вложениями настраивается администратором отдельно для документов и для изображений (Первичная настройка): подставлять распознанный текст, отклонять вложение или пропускать без инспекции.

3. Совместимость с клиентами

StarGuard Gate реализует совместимость одновременно с тремя популярными протоколами и принимает запросы от OpenAI- и Anthropic-совместимых клиентов:

  • POST /v1/chat/completions и POST /v1/completions — OpenAI Chat Completions API.

  • POST /v1/messages — Anthropic Messages API.

  • POST /v1/responses — OpenAI Responses API. Требуется явное указание "store": false в теле запроса: шлюз не хранит состояние диалога и не позволяет хранить его на стороне провайдера, чтобы весь контекст проходил проверку детекторами при каждом запросе.

  • GET /v1/models — список моделей, доступных аутентифицированному пользователю.

  • POST /v1/check — проверка запроса детекторами без обращения к языковой модели.

Поддерживается как обычный, так и потоковый режим (Server-Sent Events).

4. Режимы работы шлюза

StarGuard Gate работает в одном из двух режимов, который задаётся при создании шлюза в интерфейсе StarGuard Base и определяет способ подключения клиентов:

  • Reverse proxy — клиенты обращаются к адресу шлюза и выбирают языковую модель по её имени. Цели такого шлюза описываются объектами Модель.

  • Forward proxy — клиенты продолжают обращаться к реальным адресам провайдеров (api.openai.com, api.anthropic.com и т.д.), указав шлюз как прокси сервер (например, через переменную окружения HTTPS_PROXY). Шлюз перехватывает TLS-сессию, применяет тот же конвейер детекторов и прозрачно проксирует трафик. Цели такого шлюза описываются объектами Путь (доменное имя перехватываемого апстрима).

Режим — жёсткий контракт: reverse и forward поставляются разными Docker-образами, поэтому смена режима у существующего шлюза требует передеплоя его процесса.

5. Интеграция с корпоративной аутентификацией (SSO/OIDC)

Платформа интегрируется с корпоративными системами управления идентификацией через протокол OpenID Connect (OIDC). OIDC применяется в двух независимых контурах:

  • Аутентификация пользователей шлюзов — корпоративный Identity Provider (StarVault, Keycloak, Microsoft Entra ID, Okta и т.д.) используется для проверки токенов пользователей, обращающихся к LLM через StarGuard Gate. Шлюз принимает id_token. Имя пользователя и группы читаются из настраиваемых claim токена.

  • Аутентификация администраторов StarGuard Base — опциональная возможность входа администраторов в интерфейс StarGuard Base через корпоративный OIDC-провайдер (помимо локальной аутентификации по логину и паролю). При первой авторизации пользователь автоматически создаётся и помещается в группу New User.

6. Контроль потребления и биллинг

Платформа ведёт учёт потребления по каждому пользователю и позволяет устанавливать лимиты. Для пользователя или группы задаётся лимит одного из двух типов:

  • по токенам — максимальное количество токенов за период;

  • по стоимости — максимальная сумма расходов за период.

Период задаётся числом и единицей измерения: час, день, неделя или месяц. При достижении лимита дальнейшие запросы к LLM блокируются до конца расчётного периода.

Стоимость рассчитывается по ценам, заданным на уровне Модели или Пути (цена за 1 млн входных и за 1 млн выходных токенов), и по выбранному режиму учёта: входные токены, выходные, оба или не учитывать. Это обеспечивает предсказуемость затрат и равномерное распределение ресурсов между пользователями.

7. Аналитика

Платформа предоставляет аналитические отчёты по трём направлениям:

  • Безопасность — динамика блокировок, распределение по детекторам и стадиям обработки, топ причин блокировок, статистика по обнаруженным чувствительным данным, топ пользователей и групп.

  • Биллинг — количество запросов, входные и выходные токены, расход в денежном выражении, средняя стоимость запроса, потребление по моделям, пользователям и группам, утилизация установленных лимитов.

  • Агенты — использование инструментов (tool calls) агентскими сценариями, каталог доступных инструментов, заблокированные вызовы.

Все отчёты строятся по произвольному периоду и допускают фильтрацию (срез) по пользователю, группе, модели и формату API.

8. Сканирование моделей и LLM

Платформа выполняет проактивную проверку безопасности языковых моделей до и во время их эксплуатации:

  • Скан файла модели — загруженный файл модели проверяется антивирусом и анализатором сериализованных моделей на предмет вредоносного кода и небезопасных конструкций.

  • Скан безопасности LLM — по указанному эндпоинту модели выполняется набор атакующих проб (prompt injection, извлечение системного промпта, jailbreak, утечка данных, обход кодированием, небезопасная генерация кода и др.), включая многоходовые сценарии. Результат — список уязвимостей с уровнем критичности, описанием и рекомендацией.

Функция сканирования включается лицензией.

9. Хранение данных и контроль доступа

Платформа обеспечивает хранение истории чатов, а также метаинформации о запросах и ответах (время, источник, параметры запроса, применённые политики). Реализованы механизмы разграничения доступа к данным, позволяющие контролировать видимость информации для различных пользователей и ролей.

10. Интеграция с системами безопасности

События информационной безопасности, связанные с использованием LLM (нарушения политик, обнаружение чувствительных данных, попытки Prompt Injection и т.д.), могут быть интегрированы с внешними SIEM-системами для централизованного мониторинга, корреляции и реагирования на инциденты.

11. Лицензирование

Доступ к функциям платформы регулируется лицензией. Лицензия имеет срок действия и привязывается к развёртыванию по аппаратному fingerprintу. Лицензия задаёт редакцию продукта, предельное количество моделей и пользователей, а также состав включённых функций (например, сканирование).

Без действующей лицензии веб-интерфейс автоматически перенаправляет администратора на страницу активации, а API-вызовы к Core возвращают ошибку 402 Payment Required. Превышение лимитов действующей лицензии и обращение к выключенной функции возвращают 403 и не уводят администратора со страницы. Управление лицензией доступно суперпользователю StarGuard Base.