|
N п/п
|
Тактика
|
Техника
|
Описание техники
|
|
1
|
Сбор информации о системе ИИ
|
Сбор общедоступной информации о результатах анализа известных уязвимостей моделей ИИ
|
Нарушитель имеет возможность провести поиск известных уязвимостей модели ИИ в открытых источниках
|
|
|
|
Сбор информации в открытых репозиториях
|
Нарушитель имеет возможность осуществить поиск информации в открытых репозиториях приложений во время подготовки атаки
|
|
|
|
Сбор информации о модели
|
Нарушитель имеет возможность выявить информацию о модели ИИ. Такая информация может быть получена из документации либо с использованием тщательно составленных образцов данных и анализа ответов модели ИИ. Нарушитель формирует способы атаки исходя из определенного вида модели ИИ
|
|
2
|
Получение первоначального доступа к компонентам системы ИИ
|
Компрометация цепочки поставок модели ИИ
|
Нарушитель может получить первоначальный доступ к системе, скомпрометировав компоненты цепочки поставок.
Примеры компрометаций:
компрометация аппаратного обеспечения;
компрометация данных;
компрометация программного обеспечения;
компрометация модели ИИ;
компрометация сторонних сервисов
|
|
|
|
Публикация вредоносных наборов данных
|
Нарушитель имеет возможность осуществить "отравление" данных и опубликовать их на общедоступных ресурсах, для того чтобы в набор обучающих данных были включены "отравленные" данные
|
|
|
|
Модификация данных в наборах данных
|
Нарушитель имеет возможность изменить данные и (или) метки в наборе обучающих данных, что приведет к неправильному обучению модели и неверным выводам и решениям
|
|
|
|
Добавление вредоносных данных
|
Нарушитель имеет возможность включить в набор обучающих данных поддельные или ложные примеры, что может привести к неправильному обучению модели
|
|
|
|
Удаление данных
|
Нарушитель имеет возможность удалить важные примеры из набора обучающих данных, что может снизить устойчивость модели ИИ и нарушить ее функционирование
|
|
3
|
Внедрение и исполнение вредоносного программного обеспечения в системе ИИ
|
Обход системных инструкций
|
Нарушитель имеет возможность создать входные данные, которые могут обойти системные инструкции модели ИИ
|
|
|
|
Модификация данных в наборах данных
|
Нарушитель имеет возможность изменить данные и (или) метки в наборе обучающих данных, что приведет к неправильному обучению модели и неверным выводам и решениям
|
|
|
|
Добавление вредоносных данных
|
Нарушитель имеет возможность включить в набор обучающих данных поддельные или ложные примеры, что может привести к неправильному обучению модели
|
|
|
|
Удаление данных
|
Нарушитель имеет возможность удалить важные примеры из набора обучающих данных, что может снизить устойчивость модели ИИ и нарушить ее функционирование
|
|
4
|
Закрепление (сохранение доступа) в системе ИИ
|
Создание бэкдора (закладки) в модели ИИ
|
Нарушитель имеет возможность внедрить бэкдор (закладки) в модель ИИ. Модель ИИ с внедренным бэкдором (закладками) работает в соответствии с ожидаемым поведением в стандартных условиях, но при использовании бэкдора (закладок) будет формировать результат, ожидаемый нарушителем
|
|
|
|
Модификация алгоритма обучения модели ИИ
|
Нарушитель имеет возможность модифицировать алгоритм обучения, внедрив уязвимости и (или) изменив параметры
|
|
5
|
Сбор и вывод из системы ИИ информации, необходимой для дальнейших действий при реализации угроз безопасности информации или реализации новых угроз
|
Кража информационных ресурсов
|
Нарушитель имеет возможность похитить информационные ресурсы, используемые при разработке и эксплуатации модели ИИ: документацию о модели ИИ, программный код, наборы обучающих и тестовых данных, входные и выходные данные, а также иные сведения, используемые в технологиях ИИ
|
|
|
|
Перехват потоков данных
|
Нарушитель имеет возможность перехватить поток данных между легитимным пользователем и моделью ИИ
|
|
6
|
Несанкционированный доступ и (или) воздействие на информационные ресурсы или компоненты систем ИИ, приводящие к негативным последствиям
|
Отказ в обслуживании при манипуляции данными
|
Нарушитель, имеет возможность манипулировать данными в наборах обучающих данных, формировать вредоносные запросы (например, атака типа "губка") или управлять потоком запросов в модель ИИ, что может привести к состоянию "отказ в обслуживании" (повышение нагрузки на вычислительные ресурсы и увеличение времени, затраченного на проверку и исправление неправильных выводов)
|
|
|
|
Кража модели
|
Нарушитель имеет возможность создать копию модели ИИ путем копирования результатов входных и выходных данных целевой модели и последующего обучения копии модели на основе полученных результатов
|
|
|
|
Инверсия модели
|
Нарушитель имеет возможность извлечь конфиденциальную информацию из набора обучающих данных путем анализа выходных данных модели ИИ и восстановления информации
|
|
|
|
Обход модели ИИ
|
Нарушитель имеет возможность создать состязательные атаки, при которых используются специальные входные данные для модели ИИ, созданные путем добавления специально подготовленного "шума" к исходным входным данным в целях искажения выходных данных модели. Эффекты могут быть различными: неправильная классификация, отсутствие обнаружения и иные
|