VI. Клинические данные для программного обеспечения, являющегося медицинским изделием

14. Для клинического доказательства эффективности и безопасности программного обеспечения, являющегося медицинским изделием (далее - клиническая оценка), осуществляется в том числе оценка достоверности клинической связи, аналитической и клинической валидации (клиническая оценка проводится в соответствии с блок-схемой, представленной на рисунке 1).

15. Получение клинических данных для программного обеспечения, являющегося медицинским изделием (далее - программное обеспечение), в том числе программного обеспечения с применением технологий искусственного интеллекта, осуществляется с использованием медицинских данных пациентов, верифицированных медицинской организацией (клиническим центром), полученных в ходе диагностики, лечения, реабилитации.

Рис. 1. Блок-схема проведения клинической оценки.

16. В ходе проведения клинической оценки определяется клиническая связь (научная обоснованность) подбора данных и системы их анализа (концепция, измерения, заключение) с целевым назначением программного обеспечения.

Оценка клинической значимости может подтвердить, что:

программное обеспечение имеет устойчивую клиническую связь, основанную на документально подтвержденных результатах, как это определено в клинических рекомендациях, клинических испытаниях (исследованиях) в рецензируемых журналах, согласии на использование программного обеспечения, международных справочных материалах или других подобных данных;

программное обеспечение имеет новую клиническую значимость (эффективность), основанную на способности использовать новые входные данные, алгоритмы или результаты, новую целевую группу или новое предназначение.

17. Определение клинической значимости является необходимым компонентом клинической оценки для любого программного обеспечения и может быть обеспечено:

существующими данными испытаний (исследований), проведенных для того же предполагаемого использования программного обеспечения;

существующими данными испытаний (исследований), проведенных для другого предполагаемого использования программного обеспечения, где может быть оправдана экстраполяция таких данных;

генерацией и определением новых клинических данных для конкретного предполагаемого использования программного обеспечения.

18. Необходимость инсталляции программного обеспечения с применением технических средств клинической организации определяется медицинской организацией (клиническим центром) и указывается в программе проведения клинической оценки.

19. При проведении клинической оценки следует учитывать следующее:

при получении клинических данных в целях проведения клинической оценки программное обеспечение проверяется с применением необходимого оборудования (в том числе медицинских изделий, баз данных), предназначенного для обеспечения надлежащей работы программного обеспечения;

при получении клинических данных в целях проведения клинической оценки программного обеспечения следует задействовать все модули программного обеспечения (при модульной архитектуре), протестировать все функции, указанные производителем в эксплуатационной документации (в случае невозможности такого тестирования указываются причины);

в случае если программное обеспечение для получения клинических данных в целях проведения клинической оценки было инсталлировано (установлено) на соответствующем оборудовании до получения регистрационного удостоверения, в отчете о клиническом доказательстве эффективности и безопасности медицинского изделия следует указывать сведения о его деинсталляции;

при проведении клинической оценки оцениваются все позиции доказательных баз (клинические данные, анализ взаимозаменяемых медицинских изделий, литературные источники и т.д.), представленных производителем в медицинскую организацию (клинический центр);

клиническое доказательство эффективности программного обеспечения осуществляется с использованием верифицированной медицинской организацией (клиническим центром) базы данных (отличной от базы данных, на которой было проведено обучение программного обеспечения);

размер выборки устанавливается с помощью методик определения размера выборки и с учетом правил статистики (например, с использованием метода установления требуемой точности для оцениваемой чувствительности, специфичности). Размер выборки следует обосновать, например, методическими рекомендациями, калькуляторами и т.д.;

при проведении клинической оценки с использованием верифицированной медицинской организацией (клиническим центром) базы данных осуществляется клиническая валидация с целью подтверждения того, что программное обеспечение способно выдавать клинически значимые выходные данные для предназначенного применения. Примерами методов клинической валидации могут быть: чувствительность, специфичность, вероятность успешного исхода, диагностическая ценность и т.д. В случае если программное обеспечение используется для диагностики множества заболеваний или состояний, в отчете о клиническом доказательстве эффективности и безопасности медицинского изделия рекомендуется представить подтверждение заявленных производителем диагностических показателей для каждого заболевания или состояния;

при проведении клинической валидации учитываются данные аналитической валидации с представлением обоснования их расхождения;

при проведении клинической оценки медицинская организация (клинический центр) оценивает эксплуатационную документацию и делает вывод о том, что ее содержание доступно и понятно специалистам соответствующего профиля, а также обеспечивает надлежащее применение программного обеспечения;

при проведении клинической валидации подтверждаются установленные производителем программного обеспечения с применением технологий искусственного интеллекта параметры эффективности и их соответствие общепризнанному уровню развития знаний (например, для алгоритмов бинарной классификации данных медицинской визуализации рекомендуется использовать метод ROC со свободным откликом (free-response ROC, FROC). Программному обеспечению с применением технологий искусственного интеллекта с допустимой точностью соответствуют выпуклые FROC-кривые с углом наклона более 45°; графики FROC, представляющие собой прямую с углом наклона 45°, свидетельствуют о недостаточном качестве указанного программного обеспечения).