3.18. Обеспечение защиты информации при использовании искусственного интеллекта (ИИ)
Цель: Исключение возможности несанкционированного доступа к информационным системам и информации при использовании систем искусственного интеллекта.
Требования к реализации: Посредством проведения мероприятий по обеспечению защиты информации при использовании систем искусственного интеллекта <9> должна быть исключена возможность нарушения конфиденциальности, целостности и доступности информации, обрабатываемой в системе искусственного интеллекта, за счет действий внешних и внутренних нарушителей.
--------------------------------
<9> Подпункт "а" пункта 5 Национальной стратегии развития искусственного интеллекта.
При создании систем искусственного интеллекта оператором (обладателем информации) должна быть проведена оценка угроз безопасности информации, связанных с разработкой и эксплуатацией системы искусственного интеллекта. Сведения об угрозах безопасности информации систем искусственного интеллекта содержатся в банке данных угроз безопасности информации ФСТЭК России.
По результатам оценки угроз безопасности информации должно быть разработано техническое задание, содержащее требования к реализации мер защиты информации в системе искусственного интеллекта.
При разработке системы искусственного интеллекта должна быть обеспечена защита следующих объектов:
объекты информационной инфраструктуры разработки системы искусственного интеллекта;
программное обеспечение, обеспечивающее разработку системы искусственного интеллекта (подготовка наборов обучающих данных, обучение и тестирование моделей искусственного интеллекта), в том числе входящие в его состав фреймворки, библиотеки, иные инструменты;
программное обеспечение, обеспечивающее разработку API-интерфейсов, агентов, системы фильтрации входных и выходных данных;
входная модель искусственного интеллекта, используемая для разработки (обучения) выходной модели искусственного интеллекта (при наличии);
выходная модель искусственного интеллекта и ее параметры (веса);
программное обеспечение, обеспечивающее реализацию технологий искусственного интеллекта (модели искусственного интеллекта), а также агентов искусственного интеллекта, API-интерфейсов, систем фильтрации (контроля) входных и выходных данных.
В информационной инфраструктуре разработки системы искусственного интеллекта должны быть реализованы меры по защите информации по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).
Дополнительно в информационной инфраструктуре разработки должны быть обеспечены:
выделение информационной инфраструктуры разработки системы искусственного интеллекта от иной инфраструктуры разработчика, не связанной с разработкой данной системы, в отдельный изолированный сегмент;
отказ от использования небезопасных форматов обработки и хранения данных (например, pickle) и применение безопасных форматов данных (ONNX, protobuf и другие форматы);
целостность программного обеспечения, реализующего разработку системы искусственного интеллекта.
В информационной инфраструктуре разработки системы искусственного интеллекта не допускается решение задач, не связанных с разработкой системы искусственного интеллекта.
В отношении наборов обучающих данных должны быть обеспечены:
применение в приоритетном порядке наборов обучающих данных из доверенных источников (например, информационные системы государственных органов, организаций и учреждений, значимые объекты критической информационной инфраструктуры Российской Федерации);
антивирусная проверка обучающих данных на предмет наличия в них вредоносного программного обеспечения;
хранение обучающих данных в обособленном хранилище;
При использовании входной модели искусственного интеллекта должен быть проведен анализ сведений об уязвимостях указанной модели, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники). В отношении выявленных уязвимостей разработчиков системы искусственного интеллекта должны быть приняты меры, направленные на нейтрализацию выявленных уязвимостей.
В отношении программного обеспечения, обеспечивающего разработку и эксплуатацию системы искусственного интеллекта, должен быть проведен анализ уязвимостей программного обеспечения на основании данных, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники), и приняты меры по их устранению.
При эксплуатации системы искусственного интеллекта в информационной системе должна быть обеспечена защита следующих объектов:
объекты информационной инфраструктуры, обеспечивающей эксплуатацию системы искусственного интеллекта;
программное обеспечение, обеспечивающее реализацию технологий искусственного интеллекта (модели искусственного интеллекта), а также агентов искусственного интеллекта, API-интерфейсов, систем фильтрации (контроля) входных и выходных данных;
обученная и готовая к использованию модель искусственного интеллекта, ее расширения (LoRA, RAG и другие расширения (при необходимости).
В случае если для эксплуатации системы искусственного интеллекта используется инфраструктура, не входящая в информационную систему оператора, то в такой инфраструктуре должны быть реализованы меры по защите информации по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).
В случае применения технологии искусственного интеллекта в составе информационной системы оператором (обладателем информации) должны быть приняты меры защиты информации, направленные на предотвращение несанкционированного доступа или воздействия на систему искусственного интеллекта, в соответствии с требованиями по защите информации (обеспечению безопасности), в том числе меры по:
идентификации и аутентификации пользователей системы искусственного интеллекта;
управлению доступом пользователей системы искусственного интеллекта;
контролю (фильтрации) входных и выходных данных;
обеспечению изоляции системы искусственного интеллекта;
защите данных системы искусственного интеллекта;
защите от вредоносного программного обеспечения;
выявлению уязвимостей в системе искусственного интеллекта;
ограничению и контролю функциональности системы искусственного интеллекта.
В информационной системе при эксплуатации системы искусственного интеллекта дополнительно должны быть реализованы следующие меры защиты информации:
обеспечение фильтрации (контроля) входных данных (запросов) системы искусственного интеллекта;
обеспечение фильтрации (контроля) выходных данных (ответов) системы искусственного интеллекта;
мониторинг и квотирование количества запросов к системе искусственного интеллекта;
обеспечение регистрации событий безопасности, связанных с запросами к системе искусственного интеллекта и ее ответами;
обеспечение целостности параметров (весов) модели искусственного интеллекта и конфигурации системы искусственного интеллекта.
В отношении программного обеспечения, реализующего технологию искусственного интеллекта, оператор совместно с разработчиком системы искусственного интеллекта должен проводить анализ уязвимостей программного обеспечения на основании данных, получаемых из внешних источников (базы данных известных уязвимостей, официальные ресурсы разработчиков программных средств, специализированные публикации, форумы, иные источники), и принимать меры по их устранению.
При предоставлении подрядной организации систем искусственного интеллекта в качестве внешнего сервиса в информационной инфраструктуре подрядной организации, с использованием которой функционирует указанный сервис, должны быть реализованы мероприятия и меры по защите информации, установленные требованиями по защите информации (обеспечению безопасности) по классу защищенности не ниже класса защищенности информационной системы оператора (обладателя информации).
Взаимодействие информационной системы оператора (обладателя информации) с информационной инфраструктурой подрядной организации, используемой для предоставления системы искусственного интеллекта в качестве сервиса, должно осуществляться с учетом требований по защите информации (обеспечению безопасности).
В случае если в системе искусственного интеллекта осуществляется обработка персональных данных граждан Российской Федерации, иной информации ограниченного доступа и (или) с применением системы искусственного интеллекта обеспечивается реализация значимых функций оператора, необходимо:
обеспечить реализацию мероприятий по безопасной разработке программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, предусмотренных национальными стандартами в области разработки безопасного программного обеспечения;
провести сертификацию программного обеспечения, обеспечивающего реализацию системы искусственного интеллекта, по требованиям безопасности информации, утвержденным ФСТЭК России в соответствии с подпунктом 4 пункта 8 Положения о Федеральной службе по техническому и экспортному контролю, утвержденного Указом Президента Российской Федерации от 16 августа 2004 г. N 1085.
Требования к документированию: Не предъявляются.
1) должно быть обеспечено выделение информационной инфраструктуры разработки от иной инфраструктуры разработчика, не связанной с разработкой данной системы, в отдельный физически изолированный сегмент;
2) должно быть обеспечено хранение наборов обучающих данных в зашифрованном виде с использованием шифровальных (криптографических) средств защиты информации;
3) в отношении выходной модели искусственного интеллекта и ее параметров (весов) должны быть обеспечены:
а) применение методов состязательного обучения (включение состязательных примеров в обучающую выборку);
б) внедрение механизмов ограничения допустимых диапазонов данных, санитизации входных данных;
4) должно быть реализовано тестирование на устойчивость к промпт-атакам;
5) должно быть обеспечено выделение системы искусственного интеллекта в информационной системе в отдельный изолированный сегмент информационной системы;
6) должна быть обеспечена целостность модели искусственного интеллекта с использованием шифровальных (криптографических) средств защиты информации.
- Гражданский кодекс (ГК РФ)
- Жилищный кодекс (ЖК РФ)
- Налоговый кодекс (НК РФ)
- Трудовой кодекс (ТК РФ)
- Уголовный кодекс (УК РФ)
- Бюджетный кодекс (БК РФ)
- Арбитражный процессуальный кодекс
- Конституция РФ
- Земельный кодекс (ЗК РФ)
- Лесной кодекс (ЛК РФ)
- Семейный кодекс (СК РФ)
- Уголовно-исполнительный кодекс
- Уголовно-процессуальный кодекс
- Производственный календарь на 2027 год
- МРОТ 2027
- ФЗ «О банкротстве»
- О защите прав потребителей (ЗОЗПП)
- Об исполнительном производстве
- О персональных данных
- О налогах на имущество физических лиц
- О средствах массовой информации
- Производственный календарь на 2026 год
- Федеральный закон "О полиции" N 3-ФЗ
- Расходы организации ПБУ 10/99
- Минимальный размер оплаты труда (МРОТ)
- Календарь бухгалтера на 2026 год
- Частичная мобилизация: обзор новостей
- Постановление Правительства РФ N 1875