|
N п/п
|
Возможная угроза безопасности технологий ИИ
|
Описание возможной угрозы безопасности технологий ИИ
|
Возможные способы реализации угроз
|
Меры защиты
|
|
1
|
Угроза нарушения функционирования ("обхода") средств, реализующих технологии ИИ
|
Угроза заключается в возможности выполнить состязательную атаку в отношении модели ИИ в целях получения ошибочного вывода или решения
|
Атака
с использованием фаззинга.
|
Контроль и очистка аномалий во входных и выходных данных
|
|
|
|
|
|
Шифрование входных и выходных данных
|
|
|
|
|
Состязательные атаки
|
Использование методов повышения устойчивости модели ИИ к состязательным атакам
|
|
|
|
|
|
Ограничение потоков данных
|
|
2
|
Угроза искажения ("отравления") обучающих данных
|
Угроза заключается в возможности изменить набор обучающих и (или) тестовых данных таким образом, чтобы модель ИИ принимала ошибочные выводы или решения, соответствующие ожиданиям нарушителя
Под изменением набора обучающих данных понимается:
модификация меток в наборах данных;
добавление новых и (или) "мусорных" данных;
модификация данных;
удаление данных
|
"Отравление" набора обучающих данных.
|
Тестирование модели ИИ на предмет "отравления"
|
|
|
|
|
Бэкдоры (закладки)
|
Контроль и очистка наборов обучающих и тестовых данных от аномалий в данных
|
|
|
|
|
|
Использование методов повышения устойчивости модели ИИ к состязательным атакам (ансамблевые методы)
|
|
|
|
|
|
Шифрование данных, передаваемых за пределы контролируемой зоны
|
|
|
|
|
|
Обеспечение целостности и проверка подлинности наборов обучающих и тестовых данных
|
|
|
|
|
|
Отслеживание и документирование изменений в наборах обучающих и тестовых данных
|
|
3
|
Угроза раскрытия информации о модели ИИ
|
Угроза заключается в возможности раскрыть информацию о модели ИИ в результате утечки, в том числе через выходные данные, всей или отдельной информации о ней, включая сведения об архитектуре и параметрах обучения модели ИИ
|
Атака
с использованием фаззинга.
|
Шифрование данных, передаваемых за пределы контролируемой зоны
|
|
|
|
|
|
Контроль и очистка аномалий во входных и выходных данных
|
|
|
|
|
Извлечение данных.
|
Регистрация и контроль событий, связанных с входными и выходными данными
|
|
|
|
|
Вредоносная "инъекция"
|
Использование "цифровых меток"
|
|
|
|
|
|
Определение и мониторинг показателей штатного функционирования модели ИИ
|
|
|
|
|
|
Тестирование на проникновение
|
|
|
|
|
|
Ограничение потоков данных
|
|
4
|
Угроза хищения обучающих данных
|
Угроза заключается в возможности получения несанкционированного доступа к обучающим и (или) тестовым данным, в том числе через выходные данные
|
Атака
с использованием фаззинга.
|
Использование методов федеративного обучения (в применимых случаях)
|
|
|
|
|
|
Контроль и очистка аномалий во входных и выходных данных
|
|
|
|
|
Извлечение данных.
|
Регистрация и контроль событий, связанных с входными и выходными данными
|
|
|
|
|
Вредоносная "инъекция"
|
Шифрование данных, передаваемых за пределы контролируемой зоны
|
|
|
|
|
|
Использование протоколов конфиденциального вычисления
|
|
|
|
|
|
Использование методов обезличивания персональных данных и маскирования иной информации ограниченного доступа
|
|
|
|
|
|
Ограничение потоков данных
|
|
|
|
|
|
Определение и мониторинг показателей штатного функционирования модели ИИ
|
|
|
|
|
|
Гарантированное стирание данных
|
|
|
|
|
|
Использование "цифровых меток"
|
|
5
|
Угроза модификации модели ИИ, в том числе изменения архитектуры, последовательности взаимодействий
|
Угроза заключается во внесении несанкционированных изменений в модель ИИ путем использования скрытых возможностей в компонентах, которые применяются для разработки, обучения и эксплуатации модели ИИ
|
Бэкдор (закладки)
|
Анализ уязвимостей используемых компонентов
|
|
|
|
|
Модификация алгоритма обучения
|
Контроль целостности и проверка подлинности модели ИИ и (или) программного кода
|
|
|
|
|
|
Отслеживание и документирование изменений в программные коды и документацию о модели ИИ
|
|
6
|
Угроза приведения модели ИИ в состояние "отказ в обслуживании"
|
Угроза заключается в возможности приведения модели ИИ в состояние "отказ в обслуживании" или снижении ее производительности путем манипуляции над входными данными
|
Атака типа "губка"
|
Контроль и очистка аномалий во входных и выходных данных
|
|
|
|
|
Атака с использованием фаззинга
|
Определение и мониторинг показателей штатного функционирования модели ИИ
|
|
|
|
|
|
Регистрация и контроль событий, связанных с входными и выходными данными
|
|
|
|
|
|
Ограничение параметров запроса
|
|
7
|
Угроза манипуляции поведением модели ИИ
|
Угроза заключается в возможности использовать вредоносные запросы таким образом, чтобы поведение модели ИИ соответствовало ожиданиям нарушителя, в том числе для выполнения нелегитимного кода моделью ИИ
|
Вредоносная "инъекция"
|
Контроль и очистка аномалий во входных и выходных данных
|
|
|
|
|
|
Регистрация и контроль событий, связанных с входными и выходными данными
|
|
|
|
|
|
Определение и мониторинг показателей штатного функционирования модели ИИ
|
|
|
|
|
|
Тестирование на проникновение
|
|
8
|
Угроза подмены модели ИИ
|
Угроза заключается в возможности нарушителя подменить модель ИИ таким образом, чтобы контролировать ее поведение или получать нежелательные результаты
|
Угроза возможна при наличии у нарушителя непосредственного доступа к модели ИИ
|
Регистрация и контроль пар входных и выходных данных
|
|
|
|
|
|
Определение и мониторинг показателей штатного функционирования модели ИИ
|
|
|
|
|
|
Использование "цифровых меток"
|