Приложение 3

к Методическим рекомендациям

Банка России по обеспечению

информационной безопасности

при разработке и применении

искусственного интеллекта

на финансовом рынке

СООТНОШЕНИЕ
ВОЗМОЖНЫХ УГРОЗ ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ ТЕХНОЛОГИЙ ИИ
И ВОЗМОЖНЫХ СПОСОБОВ РЕАЛИЗАЦИИ ТАКИХ УГРОЗ И МЕР ЗАЩИТЫ

N п/п

Возможная угроза безопасности технологий ИИ

Описание возможной угрозы безопасности технологий ИИ

Возможные способы реализации угроз

Меры защиты

1

Угроза нарушения функционирования ("обхода") средств, реализующих технологии ИИ

Угроза заключается в возможности выполнить состязательную атаку в отношении модели ИИ в целях получения ошибочного вывода или решения

Атака

с использованием фаззинга.

Контроль и очистка аномалий во входных и выходных данных

Шифрование входных и выходных данных

Состязательные атаки

Использование методов повышения устойчивости модели ИИ к состязательным атакам

Ограничение потоков данных

2

Угроза искажения ("отравления") обучающих данных

Угроза заключается в возможности изменить набор обучающих и (или) тестовых данных таким образом, чтобы модель ИИ принимала ошибочные выводы или решения, соответствующие ожиданиям нарушителя

Под изменением набора обучающих данных понимается:

модификация меток в наборах данных;

добавление новых и (или) "мусорных" данных;

модификация данных;

удаление данных

"Отравление" набора обучающих данных.

Тестирование модели ИИ на предмет "отравления"

Бэкдоры (закладки)

Контроль и очистка наборов обучающих и тестовых данных от аномалий в данных

Использование методов повышения устойчивости модели ИИ к состязательным атакам (ансамблевые методы)

Шифрование данных, передаваемых за пределы контролируемой зоны

Обеспечение целостности и проверка подлинности наборов обучающих и тестовых данных

Отслеживание и документирование изменений в наборах обучающих и тестовых данных

3

Угроза раскрытия информации о модели ИИ

Угроза заключается в возможности раскрыть информацию о модели ИИ в результате утечки, в том числе через выходные данные, всей или отдельной информации о ней, включая сведения об архитектуре и параметрах обучения модели ИИ

Атака

с использованием фаззинга.

Шифрование данных, передаваемых за пределы контролируемой зоны

Контроль и очистка аномалий во входных и выходных данных

Извлечение данных.

Регистрация и контроль событий, связанных с входными и выходными данными

Вредоносная "инъекция"

Использование "цифровых меток"

Определение и мониторинг показателей штатного функционирования модели ИИ

Тестирование на проникновение

Ограничение потоков данных

4

Угроза хищения обучающих данных

Угроза заключается в возможности получения несанкционированного доступа к обучающим и (или) тестовым данным, в том числе через выходные данные

Атака

с использованием фаззинга.

Использование методов федеративного обучения (в применимых случаях)

Контроль и очистка аномалий во входных и выходных данных

Извлечение данных.

Регистрация и контроль событий, связанных с входными и выходными данными

Вредоносная "инъекция"

Шифрование данных, передаваемых за пределы контролируемой зоны

Использование протоколов конфиденциального вычисления

Использование методов обезличивания персональных данных и маскирования иной информации ограниченного доступа

Ограничение потоков данных

Определение и мониторинг показателей штатного функционирования модели ИИ

Гарантированное стирание данных

Использование "цифровых меток"

5

Угроза модификации модели ИИ, в том числе изменения архитектуры, последовательности взаимодействий

Угроза заключается во внесении несанкционированных изменений в модель ИИ путем использования скрытых возможностей в компонентах, которые применяются для разработки, обучения и эксплуатации модели ИИ

Бэкдор (закладки)

Анализ уязвимостей используемых компонентов

Модификация алгоритма обучения

Контроль целостности и проверка подлинности модели ИИ и (или) программного кода

Отслеживание и документирование изменений в программные коды и документацию о модели ИИ

6

Угроза приведения модели ИИ в состояние "отказ в обслуживании"

Угроза заключается в возможности приведения модели ИИ в состояние "отказ в обслуживании" или снижении ее производительности путем манипуляции над входными данными

Атака типа "губка"

Контроль и очистка аномалий во входных и выходных данных

Атака с использованием фаззинга

Определение и мониторинг показателей штатного функционирования модели ИИ

Регистрация и контроль событий, связанных с входными и выходными данными

Ограничение параметров запроса

7

Угроза манипуляции поведением модели ИИ

Угроза заключается в возможности использовать вредоносные запросы таким образом, чтобы поведение модели ИИ соответствовало ожиданиям нарушителя, в том числе для выполнения нелегитимного кода моделью ИИ

Вредоносная "инъекция"

Контроль и очистка аномалий во входных и выходных данных

Регистрация и контроль событий, связанных с входными и выходными данными

Определение и мониторинг показателей штатного функционирования модели ИИ

Тестирование на проникновение

8

Угроза подмены модели ИИ

Угроза заключается в возможности нарушителя подменить модель ИИ таким образом, чтобы контролировать ее поведение или получать нежелательные результаты

Угроза возможна при наличии у нарушителя непосредственного доступа к модели ИИ

Регистрация и контроль пар входных и выходных данных

Определение и мониторинг показателей штатного функционирования модели ИИ

Использование "цифровых меток"