Описание Системы

Назначение

AppSec.GenAI – это решение для поиска уязвимостей и анализа защищенности моделей искусственного интеллекта (ИИ) для бизнеса (далее - Система).

Система предназначена для автоматизированного выявления потенциальных угроз и уязвимостей моделей машинного обучения.

Система функционирует полностью в оффлайн-режиме, без подключения к внешним компьютерным сетям, что позволяет исключить риски утечки информации. Авторизация пользователей реализована через систему логина и пароля. Управление запуском тестирования и выбор методов воздействия осуществляется через веб-интерфейс.

Основные задачи, который решает Система:

• анализ моделей машинного обучения;
• выявление потенциальных угроз и уязвимостей моделей машинного обучения;
• формирование отчетов по результатам сканирования моделей машинного обучения.

Система использует встроенную шкалу оценки уязвимостей DREAD, в рамках которой каждая модель машинного обучения оценивается по пяти критериям:

• Damage potential – потенциал ущерба;
• Reproducibility – повторяемость;
• Exploitability – простота эксплуатации;
• Affected users – количество затронутых пользователей;
• Discoverability – обнаруживаемость.

Суммарная оценка риска рассчитывается по шкале от 0 до 10:

• от 0 до 2 – низкий риск;
• от 3 до 4 – умеренный риск;
• от 5 до 6 – значительный риск;
• от 7 до 8 – высокий риск;
• от 9 до 10 – критический риск.

Комплектность

В состав Системы входят следующие модули:

• интерфейс пользователя;
• модуль анализа формирования данных, логирования результатов, отправки данных в модуль сканирования, а также получения данных о модели;
• модуль тестирования;
• модуль отравления акустических данных.