Проведение полных сканирований

Для проведения полного сканирования выберите в пункт меню Полная диагностика, и далее одну из вкладок: Docker, По IP или Наборы данных в зависимости от способа подключения модели.

Docker

Вкладка Docker используется для реализации полной проверки моделей машинного обучения:

• Хранящихся в docker-контейнерах в составе системы в изолированной среде («песочнице»).
• Docker-моделей, импортированных в систему, см. раздел «Добавление модели». Для этого необходимо предварительно установить флажок Использовать импортированные docker-модели. В этом случае импортированные docker-модели будут доступны для выбора в выпадающем списке в поле Модель.

Шаги проведения полного сканирования:

1. Выберите Модель из числа доступных моделей для сканирования, которые развернуты в «песочнице», например, fastapi-docker, или из числа импортированных docker-моделей.
2. Выберите Тип данных, например, компьютерное зрение. При выборе на первом шаге импортированной docker-модели это поле заполнится автоматически.
3. Выберите Профиль сканирования (для всех типов моделей, кроме распознавания и синтеза речи, необходимо указывать как AppSecAI, а для акустики – AppSecAI_AUDIO).
4. Загрузите Дополнительные файлы для атаки (например, файл api.txt и файл data.json или другой файл формата, например, .wav, .jpg - зависит от данных).
5. Настройте коэффициенты и другие параметры атаки.
6. Нажмите на кнопку Сканировать.

После запуска сканирования происходит переход на страницу с детальным отчетом, см. раздел «Детальная информация о сканировании».

Время сканирования зависит от модальности: от 1 минуты для аудио до 10 минут для мультимодального сканирования.

Содержание дополнительных файлов api.txt и data.json представлено в таблице ниже.

Файл	Назначение	Формат / правила	Типичные ошибки и способы проверки
api.txt	Список относительных HTTP-эндпоинтов модели, к которым система будет отправлять запросы. Позволяет тестировать не только стандартный /predict, но и, например, /classify, /health, /v1/predict и т.д.	- Обычный текстовый файл UTF-8. - Каждый эндпоинт на отдельной строке. - Без домена и протокола, только путь: /predict, /v1/predict/image ...	- Пустые строки / пробелы ⇒ система видит «пустой путь» и получает 404.
data.json	Пример входных данных (payload) для POST-запроса. Используется для эмуляции реального запроса к модели.	Валидный JSON. Корневой элемент: - объект — один пример; - массив — несколько примеров (каждый отправляется отдельным запросом). Ключи и типы значений должны соответствовать ожиданиям модели.	- Невалидный JSON (лишняя запятая, кавычки) ⇒ 400 Bad Request. - Отсутствует обязательное поле ⇒ 422 Unprocessable Entity или внутренняя ошибка модели. - Неверный тип (строка ↔ число) ⇒ возможен 500 от модели. Проверка: 1) Проверка синтаксиса: python -m json.tool data.json. 2) Пробный запрос: curl / Postman к эндпоинту из api.txt.

По IP

Вкладка По IP - при выборе этого способа необходимо указать внешний IP-адрес модели.

Шаги проведения полного сканирования:

1. Задайте Имя сканирования.
2. Задайте Адрес приложения (IP-адрес и порт, например, http://172.16.70.11:8444/).
3. Выберите Профиль сканирования (для всех типов моделей, кроме распознавания и синтеза речи, необходимо указывать как AppSecAI, а для акустики – AppSecAI_AUDIO).
4. Выберите Тип данных, например, большие языковые модели.
5. Загрузите Дополнительные файлы для атаки (например, файл api.txt и файл data.json или другой файл формата, например, .wav, .jpg - зависит от данных).
6. Настройте коэффициенты и другие параметры атаки.
7. Нажмите на кнопку Сканировать.

После запуска сканирования происходит переход на страницу с детальным отчетом, см. раздел «Детальная информация о сканировании».

Наборы данных

Вкладка Наборы данных используется для реализации полной проверки наборов данных.

Шаги проведения полного сканирования:

1. Задайте Имя сканирования.
2. Выберите Тип данных (интеллектуальная поддержка решений).
3. Выберите Профиль сканирования (AppSecAI).
4. Указать целевой столбец в настройках атаки.
5. Загрузите Дополнительные файлы для атаки (файл .csv).
6. Нажмите на кнопку Сканировать.

После запуска сканирования происходит переход на страницу с детальным отчетом, см. раздел «Детальная информация о сканировании». В состав результатов сканирования входит файл, в котором с помощью тегов False/True подсвечиваются места, где были найдены аномалии.