Управление ассетами¶
Ассеты — это входные данные, используемые при проведении атак: изображения для CV-атак, аудиофайлы для ASR-атак и промпты для LLM-атак. Раздел Ассеты в боковой панели раскрывается на четыре подраздела:
| Подраздел | Назначение |
|---|---|
| Промпты | Библиотека текстовых промптов для LLM-атак |
| Изображения | Изображения для CV-атак |
| Аудиофайлы | Аудиофайлы для ASR-атак |
| Фразы отказа | Фразы, по которым судья определяет отказ модели |
Промпты¶
Промпты — это текстовые запросы, используемые для джейлбрейк-атак на LLM-модели. AppSec.GenAI содержит встроенную библиотеку промптов и позволяет загружать пользовательские.
Просмотр и поиск¶
Над таблицей расположены счётчик промптов, кнопка Загрузить, поле поиска по тексту промпта и фильтр Категория.
Таблица промптов содержит столбцы:
| Столбец | Описание |
|---|---|
| Текст промпта | Текст запроса |
| Категория | Категория промпта |
| Язык | Язык промпта |
| Обновлён | Дата последнего изменения |
Действия с промптами¶
В правой части строки промпта доступны кнопки:
- Редактирование промпта — открывает форму изменения текста, категории и языка промпта.
- Удаление промпта — удаляет промпт из библиотеки.
Загрузка промптов¶
- На странице Промпты нажмите кнопку Загрузить.
- В открывшемся диалоге перетащите файл или выберите его. Поддерживаются форматы JSON и CSV размером до 10 MB.
- Нажмите кнопку загрузки.
Форматы файлов:
- JSON:
[{ "promptText": "...", "language": "en", "category": "..." }] - CSV:
promptText,language,category
Системная библиотека¶
AppSec.GenAI содержит обширную встроенную библиотеку промптов, покрывающую различные категории джейлбрейк-атак. Системные промпты доступны всем пользователям и не могут быть изменены или удалены.
Полный список 23 категорий приведён в разделе «Категории промптов» статьи «Джейлбрейк-атаки».
Пользовательские промпты¶
Помимо системной библиотеки, пользователь может загружать собственные промпты (через файл JSON или CSV). Пользовательские промпты можно редактировать и удалять.
Дополнительный набор: УК РФ¶
Отдельно доступен специализированный набор промптов, привязанных к статьям Уголовного кодекса РФ. Этот набор подключается в настройках атаки Jailbreak Attack Suite — в блоке «Уголовный кодекс РФ» (см. Джейлбрейк-атаки).
Изоляция пользователей¶
| Тип промпта | Видимость |
|---|---|
| Системный | Доступен всем пользователям |
| Пользовательский | Доступен только загрузившему его пользователю |
Изображения¶
Изображения используются как входные данные для атак на модели компьютерного зрения (CV). Атака модифицирует исходное изображение, добавляя возмущения, которые заставляют модель выдавать неверную классификацию.
Поддерживаемые форматы¶
| Формат | MIME-тип | Описание |
|---|---|---|
| PNG | image/png |
Растровый формат без потерь, поддерживает прозрачность |
| JPEG | image/jpeg |
Растровый формат со сжатием с потерями |
| BMP | image/bmp |
Растровый формат без сжатия |
Ограничения¶
| Параметр | Значение |
|---|---|
| Максимальный размер файла | 100 MB |
| Минимальный размер файла | > 0 байт (пустые файлы не принимаются) |
| Допустимые форматы | PNG, JPEG, BMP |
Просмотр и поиск¶
Над таблицей расположены счётчик изображений, кнопка Загрузить и поле поиска по имени файла.
Таблица изображений содержит столбцы:
| Столбец | Описание |
|---|---|
| Имя файла | Имя файла изображения |
| Формат | MIME-тип (например, image/jpeg, image/png) |
| Размеры | Ширина × высота в пикселях |
| Размер | Размер файла |
| Загружен | Дата загрузки |
Действия с изображениями¶
В правой части строки изображения доступны кнопки:
- Просмотр изображения — открывает изображение для просмотра.
- Удаление изображения — удаляет изображение из библиотеки.
Загрузка изображения¶
- На странице Изображения нажмите кнопку Загрузить.
- Перетащите файл или выберите его. Поддерживаются форматы PNG, JPEG, BMP размером до 100 MB.
- Нажмите кнопку загрузки.
Предустановленные изображения¶
В системе доступно встроенное тестовое изображение panda.jpg для быстрого начала работы с CV-атаками.
Аудиофайлы¶
Аудиофайлы используются как входные данные для атак на модели распознавания речи (ASR). Атаки модифицируют аудиосигнал, внедряя акустические триггеры, шумы или ультразвуковые команды.
Поддерживаемые форматы¶
| Формат | MIME-тип | Описание |
|---|---|---|
| WAV | audio/wav |
Несжатый аудиоформат |
| MP3 | audio/mpeg |
Сжатый аудиоформат с потерями |
| FLAC | audio/flac |
Сжатый аудиоформат без потерь |
Ограничения¶
| Параметр | Значение |
|---|---|
| Максимальный размер файла | 100 MB |
| Максимальная длительность | 30 секунд |
| Минимальный размер файла | > 0 байт (пустые файлы не принимаются) |
| Допустимые форматы | WAV, MP3, FLAC |
Просмотр и поиск¶
Над таблицей расположены счётчик аудиофайлов, кнопка Загрузить и поле поиска по имени файла.
Таблица аудиофайлов содержит столбцы:
| Столбец | Описание |
|---|---|
| Имя файла | Имя аудиофайла |
| Формат | MIME-тип (например, audio/wav) |
| Длительность | Длительность записи |
| Sample Rate | Частота дискретизации |
| Размер | Размер файла |
| Плеер | Встроенный плеер для прослушивания |
| Загружен | Дата загрузки |
Действия с аудиофайлами¶
В правой части строки аудиофайла доступна кнопка:
- Удаление аудиофайла — удаляет аудиофайл из библиотеки.
Загрузка аудиофайла¶
- На странице Аудиофайлы нажмите кнопку Загрузить.
- Перетащите файл или выберите его. Поддерживаются форматы WAV, MP3, FLAC размером до 100 MB и длительностью до 30 секунд.
- Нажмите кнопку загрузки.
Рекомендуемый формат
Для наилучших результатов используйте формат WAV (16 бит PCM, моно, 16000 Гц) — он совместим со всеми ASR-атаками. Часть атак использует другую частоту дискретизации (например, 8000 Гц для DABA или 48000 Гц для Ultrasonic), которая задаётся в настройках атаки.
Предустановленные аудиофайлы¶
В системе доступен встроенный тестовый файл daba_sample.wav для быстрого начала работы с ASR-атаками.
Фразы отказа¶
Фразы отказа — это типовые формулировки, по которым судья (стратегия Simple) определяет, что модель отказалась выполнять запрос. Если ответ модели содержит любую фразу из списка (без учёта регистра), он помечается как отказ (rejection).
Просмотр и поиск¶
В верхней части страницы отображается счётчик в формате «Всего N (системных 312, кастомных M)». Доступны кнопка Добавить фразу, поле поиска по фразе и фильтр:
- Все — все фразы.
- Системные — встроенные фразы (доступны всем, не редактируются и не удаляются).
- Кастомные — добавленные пользователем фразы.
Каждая фраза в списке отображается с пометкой типа (Системная / Кастомная) и текстом. Для кастомных фраз дополнительно показаны дата добавления и кнопка удаления.
Добавление фразы¶
- Нажмите кнопку Добавить фразу.
- В диалоге Новая фраза отказа введите текст фразы (до 300 символов).
- Нажмите Сохранить.
Связь с профилем сканирования
Кастомный список фраз отказа также формируется на шаге «Основная информация» при создании LLM-профиля, в блоке «Свой список фраз отказа» — см. Профили сканирования.
Сводная таблица ограничений¶
| Тип ассета | Форматы | Максимальный размер | Дополнительно |
|---|---|---|---|
| Изображения | PNG, JPEG, BMP | 100 MB | — |
| Аудиофайлы | WAV, MP3, FLAC | 100 MB | До 30 секунд |
| Промпты (загрузка) | JSON, CSV | 10 MB | Поля: promptText, language, category |
| Фразы отказа | Текст | До 300 символов | — |
Использование ассетов в сканировании¶
Загруженные изображения и аудиофайлы выбираются при запуске сканирования — на шаге Параметры диалога «Новое сканирование» (см. Запуск сканирований). Промпты и фразы отказа подключаются через настройки профиля сканирования (см. Профили сканирования и Джейлбрейк-атаки).