Росавиацией утверждены Контрольные карты проверки соответствия организации-разработчика требованиям авиационных правил. Ревизия 02.
"Контрольные карты проверки соответствия организации-разработчика требованиям авиационных правил" (утв. Росавиацией 09.04.2017)

24. Верификация

24.

Верификация

24.1.

Определение стратегии верификации в течение жизненного цикла

24.1.1. Наличие и выполнение документированной процедуры, регламентирующей роли и ответственность персонала при проведении мероприятий процесса верификации.

24.1.2. Наличие и выполнение документированных процедур по подготовке документации для проведения испытаний разрабатываемого КИ, регламентирующей:

- порядок разработки, оформления и утверждения плана верификации (программы испытаний);

- порядок разработки, согласования и утверждения Разработчиком методик проведения верификации;

- требование о наличии перечня регистрируемых параметров по каждому виду испытаний;

- порядок внесения изменений в программу верификации;

- осуществление идентификации документов по результатам испытаний в соответствии с требованиями процесса управления конфигурацией.

24.2.

Определение плана верификации на основании технических требований, налагаемых на разрабатываемое КИ

24.2.1. Наличие и выполнение документированной процедуры (Плана верификации), применительно к разработке системы, описывающего:

- распределение ролей и ответственности по выполнению мероприятий верификации;

- описание степени независимости разработки и мероприятий верификации;

- применение методов верификации;

- данные, которые должны быть получены;

- последовательность выполнения связанных мероприятий;

- график выполнения основных мероприятий верификации.

24.2.2 Наличие и выполнение документированной процедуры (Плана верификации), применительно к разработке системы ИМА, описывающего:

- каким образом различные модули, ресурсы, платформы и поддерживаемые приложения интегрируются в систему ИМА;

- методы и процедуры, применяемые при обосновании и верификации системы ИМА;

- верификацию после отказов:

- каким образом будут верифицированы и обоснованы отказоустойчивость, отказобезопасность конструкции, свойства и функции восстановления после отказов;

- регистрируемые в ходе мероприятий обоснования и верификации данные системы ИМА, такие как:

a) сводки;

b) результаты рассмотрения, анализов, моделирования;

c) результаты стендовых испытаний;

d) результаты комплексных системных лабораторных испытаний или исследований;

- каким образом будут обоснованы и верифицированы допущения, оценки характеристик безопасности системы, а также назначение и управление ресурсами системы, безопасности системы (обеспечение эксплуатационной безопасности системы);

- каким образом будет поддерживаться и управляться статус мероприятий обоснования и верификации, особенно в случае внесения изменений в требования или в распределение ресурсов;

- критерии "прошел/не прошел" для каждого мероприятия обоснования и верификации;

- роли и ответственности, связанные с мероприятиями обоснования и верификации;

- график основных мероприятий обоснования и верификации с описанием их взаимозависимостей;

- степень взаимозависимости работ мероприятий по разработке и верификации.

24.2.3. Наличие и выполнение документированной процедуры (Плана

верификации), применительно к разработке сложного элемента аппаратуры, описывающего:

- методы верификации: описание и ссылки на стратегию проведения верификации, процедуры, стандарты и методы, которые должны применяться с целью доказательства целостности элементов аппаратуры, включая COTS и используемые функции. Методы могут включать анализы, рассмотрения и испытания;

- данные верификации: определение и описание получаемых доказательств по процессу верификации аппаратуры;

- независимость верификации: описание средств, которые необходимо использовать, чтобы гарантировать независимость верификации для целей, требующих независимость;

- среду верификации: определение и описание оборудования для анализа и испытаний, инструментов верификации, которые должны применяться с целью реализации процесса верификации и мероприятий;

- организационную ответственность: определение организаций, ответственных за реализацию процесса верификации.

24.2.4. Наличие и выполнение документированной процедуры (Плана верификации), применительно к разработке программного обеспечения, описывающего:

- организацию: ответственность за процесс верификации ПО и взаимодействие с другими процессами жизненного цикла ПО;

- независимость: описание методов, с помощью которых обеспечивается независимость верификации ПО, когда это требуется;

- методы верификации: описание методов верификации, которые предполагается использовать в процессе верификации ПО:

a) методы рассмотрения, включая проверочные перечни и другие средства;

b) методы анализа, включая трассируемость и анализ покрытия;

c) методы испытаний, в том числе:

1) инструктивный материал относительно разработки тестовых примеров;

2) тестовые процедуры, которые предполагается применять;

3) документация по испытаниям, которая будет подготовлена;

- среду верификации: описание испытательного оборудования, средств испытаний и инструментов анализа, инструкции по применению этих инструментов;

- критерии перехода: критерии, при удовлетворении которых осуществляется переход к процессу верификации ПО;

- соображения, связанные с обособлением: если применяется метод обособления, то указываются также методы верификации целостности обособления;

- допущения относительно компилятора: описание допущений, принятых Заявителем относительно корректности компилятора, редактора связей и загрузчика;

- инструкции повторной верификации: описание методов определения частей ПО, затронутых изменениями, а также методов определения измененных частей "Исполняемого объектного кода";

- ранее разработанное ПО: если первоначальные методы определения соответствия базовой версии ранее разработанного ПО в части процесса верификации не соответствуют настоящему документу, то приводится описание методов для достижений целей настоящего документа;

- многоверсионное разнородное ПО: если применяется такое программное обеспечение, то описываются соответствующие мероприятия процесса верификации.

24.3.

Идентификация и сообщение о потенциальных ограничениях систем, обеспечивающих верификацию

24.3.1. Наличие и выполнение документированной процедуры, описывающей:

- ограничения по точности, уровню неопределенности, воспроизводимости, которые налагаются на системы, обеспечивающие верификацию;

- методы измерения, готовность, доступность обеспечивающих систем.

24.4.

Подготовка обеспечивающей системы, соответствующих средств, оборудования и операторов к проведению верификации

24.4.1. Наличие и выполнение документированных процедур, регламентирующих:

- порядок подготовки и допуска персонала к проведению испытаний. Оформление документов, подтверждающих допуск специалистов предприятия к конкретным испытательным работам;

- полномочия и ответственность персонала при проведении испытаний.

24.4.2. Наличие и выполнение документированных процедур использования технологического, вспомогательного, лабораторного и испытательного оборудования, используемого при проведении испытаний, регламентирующих:

- порядок первичной и периодической аттестации рабочих мест и оборудования, используемых в процессе производства и при проведении испытаний. Наличие паспортов на испытательные стенды, рабочие места и оборудование, актов аттестации и допуска к эксплуатации;

- порядок выполнения обслуживания испытательных стендов, станций, рабочих мест и оборудования, а также оформление эксплуатационной документации после

выполнения соответствующих работ, направленных на поддержание испытательных средств в исправном состоянии и годности для проведения испытаний;

- наличие утвержденной программной документации и программного обеспечения испытательных стендов, станций, рабочих мест стендового оборудования, а также порядок переаттестации стенда в случае изменения или замены версии программного обеспечения;

- хранение доказательной документации и материалов, (аттестаты, протоколы, акты, расчеты, результаты измерений, методики и др.) оформленных при выполнении первичной и периодической аттестации испытательных стендов, станций, рабочих мест и оборудования;

- методы хранения доказательной документации по первичной аттестации, обеспечивающие ее сохранность в период функционирования испытательных стендов, станций, рабочих мест и оборудования;

- методы хранения доказательной документации по периодической аттестации испытательных стендов, станций, рабочих мест и оборудования, обеспечивающие ее сохранность в период не менее чем до выполнения очередных аттестационных работ.

24.5.

Осуществление верификации для демонстрации соответствия заданным требованиям

24.5.1. Наличие и выполнение документированных процедур по предъявлению на испытания изделий и/или его составных частей, регламентирующих:

- порядок предъявления службе качества изделий и/или составных частей на все виды испытаний;

- порядок выполнения испытаний изделий и/или их составных частей;

- формы предъявлений изделий на испытания и протоколов по результатам испытаний. Наличие эталонов заполнения этих документов;

- испытание составных частей/систем перед интегрированием в систему/на ВС;

- порядок комплектации изделия (при предъявлении на испытания) эксплуатационной документацией, соответствующей конфигурации его конструкции.

24.5.2. Наличие и выполнение документированных процедур по выполнению испытаний изделия и/или его составных частей,

регламентирующих:

Применительно к испытаниям системы:

- тестирование системы до ее установки на ВС;

- последовательное выполнение интеграции системы;

- трассировку требований и соответствующих событий верификации;

- регистрацию выполнения пунктов программы верификации и достигнутых числовых и/или иных значений измеряемых параметров;

- виды и периодичность осмотров и контроля состояния конструкции изделия в процессе выполнения этапов программы испытаний;

- регистрацию в формулярах, паспортах, этикетках данных об изменениях, внесенных в процессе испытаний;

- порядок проверки состояния деталей, узлов КИ после выполнения испытаний и оформление документа по результатам выполненной проверки.

Применительно к испытаниям ИМА:

- тестирование модуля до его интеграции в платформу;

- последовательное выполнение интеграции ИМА;

- трассировку требований и соответствующих событий верификации;

- выполнение регрессионного тестирования в каждой точке последовательной интеграции;

- регистрацию выполнения пунктов программы верификации и достигнутых числовых и/или иных значений измеряемых параметров;

- виды и периодичность осмотров и контроля состояния конструкции изделия в процессе выполнения этапов программы испытаний;

- регистрацию в формулярах, паспортах, этикетках данных об изменениях, внесенных в процессе испытаний;

- порядок проверки состояния деталей, узлов КИ после выполнения испытаний и оформление документа по результатам выполненной проверки.

Применительно к испытаниям сложных элементов аппаратуры:

- тестирование элемента аппаратуры до его интеграции в систему;

- последовательное выполнение интеграции элемента аппаратуры;

- трассировку требований и соответствующих событий верификации;

- регистрацию выполнения пунктов программы верификации и достигнутых числовых и/или иных значений измеряемых параметров;

- виды и периодичность осмотров и контроля состояния конструкции изделия в процессе выполнения этапов программы испытаний;

- регистрацию в формулярах, паспортах, этикетках данных об изменениях, внесенных в процессе испытаний;

- порядок проверки состояния деталей, узлов КИ после выполнения испытаний и оформление документа по результатам выполненной проверки.

Применительно к испытаниям программного обеспечения:

- тестирование программного обеспечения до его внедрения в систему;

- выполнение регрессионного тестирования в каждой точке последовательной интеграции;

- регистрацию выполнения пунктов программы верификации и достигнутых числовых и/или иных значений измеряемых параметров;

- регистрацию в формулярах, паспортах, этикетках данных об изменениях, внесенных в процессе испытаний;

- порядок проверки состояния деталей, узлов КИ после выполнения испытаний и оформление документа по результатам выполненной проверки.

24.6.

Формирование доступных верификационных данных о КИ

24.6.1. Наличие и выполнение документированных процедур по оформлению результатов испытаний изделий, регламентирующих:

- порядок разработки форм документов, в которых регистрируются результаты испытаний ИК в целом и его составных частей;

- полномочия и ответственность персонала при оформлении документов по результатам верификации.

24.7.

Анализ и регистрация информации о верификации, отклонениях и корректирующих действиях, составление соответствующих отчетов

24.7.1. Наличие и выполнение документированных процедур при выявлении несоответствий в ходе выполнения испытаний изделий и/или его составных частей, регламентирующих:

- наличие базы данных тестов;

- порядок оформления отчета об ошибках на любом этапе, в случае выявления несоответствий установленным требованиям;

- принятие решений о необходимости выполнения соответствующих доработок;

- порядок разработки конструкторской и технологической документации на выполнение доработок;

- контроль выполнения доработок;

- порядок повторного предъявления и проведение повторных испытаний;

- оформление и виды документов по результатам повторных испытаний.

23. Оценка безопасности 25. Взаимодействие с сертифицирующими органами