Глава 3. Разработка модели угроз безопасности информации системы ИИ и определение состава и содержания мер защиты системы ИИ
3.1. В целях определения актуальных угроз безопасности информации системы ИИ организациям рекомендуется разработать модель угроз безопасности информации системы ИИ (далее - Модель угроз).
3.2. При разработке Модели угроз организациям рекомендуется использовать Методику оценки угроз безопасности информации <3> и учитывать следующее:
--------------------------------
<3> Для целей настоящих Методических рекомендаций используется "Методический документ. Методика оценки угроз безопасности информации" (утвержден ФСТЭК России 05.02.2021).
3.2.1. Результаты оценки рисков информационной безопасности ИИ.
3.2.2. Этапы разработки и применения ИИ (подготовка данных, разработка модели ИИ, обучение и тестирование модели ИИ, функционирование модели ИИ), функциональное представление которых приведено на схеме:
3.2.3. Возможные угрозы безопасности информации, специфичные для технологий ИИ, включая угрозы:
нарушения функционирования ("обхода") средств, реализующих технологии ИИ;
искажения ("отравления") обучающих данных;
раскрытия информации о модели ИИ;
модификации модели ИИ, в том числе изменения архитектуры, последовательности взаимодействий;
приведения модели ИИ в состояние "отказ в обслуживании";
манипуляции поведением модели ИИ;
3.2.4. Актуальность как внешнего, так и внутреннего нарушителя.
3.2.5. Структурно-функциональные характеристики системы ИИ в информационной инфраструктуре организации.
3.2.6. Угрозы безопасности информации, возможные для информационной инфраструктуры организации, на базе которой функционирует система ИИ.
3.3. Организациям рекомендуется учитывать следующие возможные способы реализации угроз безопасности информации, специфичные для технологий ИИ, в частности:
атака с использованием фаззинга <4> (ввод различных входных данных в целях выявления уязвимостей модели ИИ и (или) приведения модели ИИ в состояние "отказ в обслуживании");
--------------------------------
<4> Данный способ может являться промежуточным шагом при реализации более вредоносных способов воздействия.
внедрение бэкдора (закладки) в модели ИИ в целях нарушения ее функционирования или достижения иных негативных последствий в соответствии с ожиданиями нарушителя;
модификация алгоритма обучения (нарушение логического алгоритма обучения модели ИИ, приводящее к ее модификации);
извлечение данных (получение нарушителем конфиденциальной информации путем взаимодействия с моделью ИИ);
вредоносная "инъекция" (модификация или обход системных инструкций модели ИИ с использованием специально подготовленных входных данных в целях изменения поведения модели ИИ, осуществленные путем прямого или непрямого внедрения запроса);
атака типа "губка" (ввод вредоносных входных данных в модель ИИ, обработка которых приводит к снижению производительности вычислительных ресурсов);
"отравление" обучающих данных (модификация набора обучающих данных в целях нарушения функционирования модели ИИ, в том числе модификация данных в наборах данных, добавление вредоносных данных, удаление данных);
"состязательные атаки" (атаки, направленные на получение неверных выводов и решений модели ИИ путем ввода искаженных, в том числе "отравленных", входных данных).
3.4. Для определения возможных сценариев реализации угроз безопасности информации, специфичных для технологий ИИ, организациям рекомендуется использовать, в частности, тактики и соответствующие им техники, указанные в приложении 1 к настоящим Методическим рекомендациям.
3.5. Для определения соотношения возможных угроз безопасности, специфичных для технологий ИИ, и этапов разработки и применения ИИ организациям рекомендуется руководствоваться соотношением таких этапов и угроз, указанным в приложении 2 к настоящим Методическим рекомендациям.
3.6. Для определения соотношения возможных угроз информационной безопасности, специфичных для технологий ИИ, и возможных способов реализации (возникновения) указанных угроз организациям рекомендуется руководствоваться соотношением угроз и способов, указанным в приложении 3 к настоящим Методическим рекомендациям.
3.7. В целях нейтрализации актуальных угроз информационной безопасности, специфичных для технологий ИИ, организациям рекомендуется реализовать процесс "Безопасность и защита данных" <5>, разделив его на следующие подпроцессы, соответствующие этапам разработки и применения ИИ:
--------------------------------
<5> Национальный стандарт Российской Федерации ГОСТ Р 71539-2024 (ИСО/МЭК 5338:2023) "Искусственный интеллект. Процессы жизненного цикла системы искусственного интеллекта".
обеспечение безопасности при подготовке данных;
обеспечение безопасности при разработке модели ИИ;
обеспечение безопасности при обучении и тестировании модели ИИ;
обеспечение безопасности при функционировании модели ИИ.
3.8. Для каждого из подпроцессов, указанных в пункте 3.7 настоящей главы, организациям рекомендуется определить меры защиты, направленные на нейтрализацию актуальных угроз безопасности технологий ИИ, с учетом мер защиты, указанных в приложении 4 к настоящим Методическим рекомендациям. При этом организациям рекомендуется соблюдать пропорциональность принимаемых мер защиты выявленным рискам и масштабам последствий от их реализации.
3.9. При соотношении мер защиты, направленных на нейтрализацию актуальных угроз безопасности технологий ИИ, и актуальных угроз безопасности технологий ИИ организациям рекомендуется руководствоваться соотношением мер защиты и возможных угроз безопасности, указанным в приложении 3 к настоящим Методическим рекомендациям.
3.10. Организациям рекомендуется определять в проектной и эксплуатационной документации сведения о реализации мер защиты систем ИИ, а также проводить оценку эффективности реализованных мер защиты.
- Гражданский кодекс (ГК РФ)
- Жилищный кодекс (ЖК РФ)
- Налоговый кодекс (НК РФ)
- Трудовой кодекс (ТК РФ)
- Уголовный кодекс (УК РФ)
- Бюджетный кодекс (БК РФ)
- Арбитражный процессуальный кодекс
- Конституция РФ
- Земельный кодекс (ЗК РФ)
- Лесной кодекс (ЛК РФ)
- Семейный кодекс (СК РФ)
- Уголовно-исполнительный кодекс
- Уголовно-процессуальный кодекс
- Производственный календарь на 2027 год
- МРОТ 2027
- ФЗ «О банкротстве»
- О защите прав потребителей (ЗОЗПП)
- Об исполнительном производстве
- О персональных данных
- О налогах на имущество физических лиц
- О средствах массовой информации
- Производственный календарь на 2026 год
- Федеральный закон "О полиции" N 3-ФЗ
- Расходы организации ПБУ 10/99
- Минимальный размер оплаты труда (МРОТ)
- Календарь бухгалтера на 2026 год
- Частичная мобилизация: обзор новостей
- Постановление Правительства РФ N 1875
