Глава 7. Оценка процесса внутренней валидации

7.1. В рамках оценки СВА рекомендуется провести проверку соответствия фактического процесса внутренней валидации моделей ПВР (рейтинговых систем) и результатов оценки внутренней валидации требованиям Положения N 845-П и внутренних методик банка на основании проведения следующих аудиторских мероприятий:

7.2. Провести проверку соответствия отчетов о валидации (в том числе, отчетов о валидации процессов) внутренним методикам банка и требованиям главы 15 Положения N 845-П, в том числе, с учетом следующего:

7.2.1. первичная валидация осуществляется на выборке за тот же период, что и выборка, использованная для разработки, но с иным выбором наблюдений, не входивших в выборку для разработки и тестирования внутренней модели ПВР (рейтинговой системы) (выборка "out-of-sample"). В случае, если на момент проведения первичной валидации доступен достаточный объем данных за временными пределами выборки для разработки, то валидация осуществляется на выборке за последующий период (выборка "out-of-time"). В случае использования всех доступных данных при разработке, валидация проводится на выборке для разработки, а также на различных временных интервалах, при этом, оценивается обоснованность данного решения на этапе разработки;

7.2.2. периодическая валидация внутренней модели ПВР (рейтинговой системы) осуществляется после начала ее применения и проводится на выборке за последующий период, не пересекающийся с выборкой для разработки (выборка "out-of-time");

7.2.3. валидация в связи с перекалибровкой внутренней модели ПВР (рейтинговой системы) проводится на выборке за тот же период, что и выборка для калибровки (выборка "out-of-sample"). В случае, если на момент проведения валидации доступен достаточный объем данных за временными пределами выборки для калибровки, то валидация проводится также на выборке за последующий период (выборка "out-of-time"). В случае использования всех доступных данных при калибровке валидация проводится на выборке для калибровки, при этом, оценивается обоснованность данного решения на этапе калибровки;

7.2.4. представлены результаты проверки корректности определения и расчета консервативных надбавок и калибровки действующих моделей ПВР проведена в соответствии с главой 15 Положения N 845-П, в том числе представлены результаты ретроспективного анализа для определения консервативной надбавки и (или) проведения соответствующей калибровки внутренних моделей ПВР на новые значения исторически наблюдаемых (фактических) значений, рассчитанных за долгосрочный период с учетом требований пунктов 13.11.1 - 13.11.3 Положения N 845-П;

7.2.5. Провести анализ корректности классификации заемщиков (кредитных требований) по признаку дефолта в выборках данных, использованных для разработки, калибровки и валидации внутренних моделей ПВР (разметка данных в выборках по признаку "дефолт" должна совпадать с фактическим событием дефолта, и разметка данных "дефолт в течение года" должна присутствовать по всем наблюдениям заемщика (кредитных требований) в выборке данных на периоде "год до даты дефолта");

7.2.6. Провести анализ корректности расчета исторического уровня дефолта (центральной тенденции, ЦТ) и консервативности определения периода для ее расчета;

7.2.7. Провести проверку наличия изменений внешней среды, планируемых и текущих изменений внутренних процессов кредитования, изменений архитектуры данных (изменения в источниках данных, используемых в процессе отнесения кредитных требований к разрядам рейтинговой шкалы), изменений внутренних моделей ПВР (рейтинговых систем) и оценку существенности их влияния на внутренние модели ПВР (рейтинговые системы) в соответствии с Приложением 1 к Положению N 845-П для определения необходимости проведения внутренней валидации (или наличие в отчетах о валидации оценки таких изменений);

7.2.8. Провести проверку устранения недостатков, выявленных по итогам внутренней валидации (на основании отчетов валидации, решений об утверждении рекомендаций, отчетов об устранении недостатков), в том числе на соблюдение следующих условий:

- рекомендации внутренней валидации являются конкретными, релевантными, выполнимыми, и срок выполнения рекомендаций соответствует степени критичности (существенности) выявленных недостатков, а также определены ответственные лица за устранение недостатков;

- в случае существенности выявленных недостатков, ограничений внутренней модели ПВР (рейтинговой системы) была проведена оценка необходимости применения консервативной надбавки, покрывающей потенциальную недооценку рисков до устранения данных несоответствий (в соответствии с требованиями к консервативной надбавке, установленными Приложением 3 к Положению N 845-П);

- рекомендации своевременно и полностью исполняются (в случае пролонгации сроков устранения недостатков присутствует ее обоснование, и определены дополнительные меры по уменьшению влияния выявленных недостатков);

7.2.9. Провести проверку наличия и корректности определения условий приемлемости (учтены ли допущения, ограничения и факторы) внутренней ПВР модели (рейтинговой системы) в документации по разработке (методиках, отчетах, аналитических записках) следующей информации: цели и задачи внутренней модели ПВР (рейтинговой системы), основные пользователи, описание сегментов, покрываемых внутренней моделью ПВР (рейтинговой системы), описание используемых при моделировании данных, описание архитектуры внутренней модели ПВР и качество ее работы, зафиксированное разработчиками на этапе тестирования, информация по допущениям и ограничениям внутренней модели ПВР (рейтинговой системы).

7.2.10. Провести анализ корректности и полноты данных, используемых для проведения количественных тестов, в том числе корректности и обоснованности алгоритмов, скриптов и формул при проведении тестов (подтвердить полученный результат количественного теста внутренней валидации путем воспроизведения расчета количественного теста);

7.2.11. Провести анализ корректности, обоснованности, полноты результатов (выводов), полученных в процессе проведения валидации (в том числе валидации процессов):

- подтвердить корректность интерпретации результатов количественных тестов валидации, в том числе на основании воспроизведенных СВА результатов количественных тестов;

- подтвердить корректность интерпретации результатов качественных тестов.

7.2.12. Подтвердить использование оценок компонентов величины кредитного риска (PD, LGD, EAD), внутренних рейтингов (уровней кредитоспособности) во внутренних процессах банка (в том числе в кредитном процессе) с учетом требований пунктов 2.6 - 2.8 Положения N 845-П).

7.3. Провести проверку соответствия порядка и процесса мониторинга внутренней модели ПВР (рейтинговой системы) внутренней валидацией (далее - валидационный мониторинг) требованиям Положения N 845-П и Указанию N 7005-У и внутренним методикам банка (методики валидационного мониторинга) <1> в части: методологии расчета КПК, установленных Приложением 4 к Положению N 845-П и (или) разрешением на применение ПВР; регулярности и охвата процесса валидационного мониторинга внутренней модели ПВР (рейтинговой системы); наличия и корректности расчета КПК, установленных Приложением 4 к Положению N 845-П и (или) разрешением на применение ПВР, по каждой внутренней модели ПВР (рейтинговой системе); выполнения и оценки результатов валидационного мониторинга (провести пересчет КПК и проверку качества данных для расчета КПК для сверки вывода о качестве функционирования моделей ПВР); меры реагирования по результатам валидационного мониторинга при достижении пороговых значений "красного" и/или "желтого" сигналов КПК достаточны и обоснованы (в том числе меры реагирования исполняются в установленные сроки); результаты валидационного мониторинга корректно и своевременно отражены в регуляторной отчетности <2>. Провести анализ отчета службы внутреннего контроля для подтверждения независимости внутренней валидации, а также заключения об отсутствии конфликта интересов в процессе внутренней валидации в соответствии с пунктом 16.9 Положения N 845-П.

--------------------------------

<1> Используя данные регуляторной отчетности (форма 0409114), условия разрешения на применение ПВР, отчетов о мониторинге и контроле за качеством функционирования моделей ПВР, витрин результатов мониторинга.

<2> Форма 0409114, установленная Указанием N 6406-У.