Подпроцесс "Обеспечение безопасности при обучении и тестировании модели ИИ"

10

Использование методов повышения устойчивости модели ИИ к состязательным атакам

При обучении модели ИИ рекомендуется применять один или несколько методов повышения устойчивости модели ИИ к состязательным атакам. К данным методам относятся:

состязательное обучение: в рамках состязательного обучения необходимо использовать примеры состязательных атак при обучении модели ИИ, которые позволят ей обучиться классифицировать состязательные атаки;

защитная дистилляция: метод заключается в обучении основной модели ИИ, при котором основная модель ИИ учитывает выводы и решения, полученные от модели-учителя. Модель-учитель необходимо обучить на наборе обучающих данных, включающем в себя примеры состязательных атак. Количество примеров состязательных атак в наборе обучающих данных должно определяться организацией самостоятельно;

ансамблевые методы: метод заключается в увеличении обобщающей способности модели ИИ путем комбинирования нескольких моделей ИИ. Устойчивость модели ИИ к состязательным атакам повышается путем усреднения результатов нескольких моделей ИИ. При этом необходимо предусмотреть использование различных типов моделей ИИ или различных параметров обучения для каждой модели ИИ в ансамбле, чтобы гарантировать их разнообразие. Также ансамблевые методы позволяют повысить устойчивость модели ИИ, в случае если обучающие данные были "отравлены"

Модель ИИ

11

Использование протоколов конфиденциального вычисления

Протоколы конфиденциального вычисления применяются в целях сохранения конфиденциальности данных при обучении модели ИИ на базе вычислительных ресурсов сторонней организации

Модель ИИ

12

Использование методов федеративного обучения

Децентрализованное обучение, применяемое в федеративном обучении моделей ИИ, позволяет сохранить конфиденциальность данных, исключая их передачу третьему лицу

Модель ИИ

13

Использование "цифровых меток"

Встраивание различных "цифровых меток" путем маркировки данных (присваивание определенных маркеров данным). "Цифровые метки" рекомендуется внедрять для различных типов данных (изображения, аудио и видео, текст). Способы и область использования "цифровых меток" определяются организацией самостоятельно

Выходные данные, наборы обучающих и тестовых данных

14

Тестирование на предмет "отравления"

Рекомендуется проводить тестирование модели ИИ в целях выявления случаев "отравления" набора обучающих данных непосредственно после ее обучения. Для тестирования модели ИИ рекомендуется применять набор тестовых данных, который должен содержать данные, отличные от содержащихся в наборе обучающих данных. При этом рекомендуется обеспечить раздельное друг от друга хранение набора обучающих данных и набора тестовых данных с применением мер разграничения доступа.

При выявлении факта "отравления" набора обучающих данных рекомендуется выполнить мероприятия по очистке аномалий в данных в указанном наборе, а в случае невозможности проведения очистки произвести смешивание "отравленного" набора обучающих данных с проверенными и достоверными данными путем их добавления в набор. После выполнения указанных мероприятий необходимо провести повторное тестирование модели ИИ и повторять процесс до тех пор, пока факт "отравления" набора обучающих данных не перестанет выявляться в результате тестирования модели ИИ

Набор обучающих и тестовых данных

15

Тестирование на проникновение

Тестирование на проникновение проводится в отношении модели ИИ. Рекомендуется применять способы реализации угроз безопасности технологий ИИ, описанных в главе 3 настоящих Методических рекомендаций

Модель ИИ

16

Периодическое дообучение модели

Рекомендуется проводить периодическое дообучение модели ИИ, направленное на адаптацию модели ИИ к новым угрозам безопасности технологий ИИ. Дообучение происходит с использованием обновленных и проверенных наборов обучающих данных. Рекомендуется при каждом дообучении фиксировать версию модели ИИ, а также для каждой версии использовать механизмы контроля целостности и проверки подлинности

Набор обучающих данных, модель ИИ