Глава 4. Оценка процессов разработки и внедрения внутренних моделей ПВР (рейтинговых систем)

4.1. В рамках оценки СВА рекомендуется провести проверку:

- соответствия процесса разработки и внедрения внутренних моделей ПВР (рейтинговых систем), применяемого в банке, требованиям Положения N 845-П и внутренних методик банка;

- достаточности и корректности результатов оценки внутренней валидации процедур разработки и внедрения внутренних моделей ПВР (рейтинговых систем) на соответствие требованиям Положения N 845-П и внутренних методик банка.

4.2. При оценке процессов разработки и внедрения внутренних моделей ПВР (рейтинговых систем) рекомендуется убедиться, что процесс построения внутренних моделей ПВР и его отдельные этапы (применяемые подходы к моделированию, допущения, алгоритмы, процедуры и др.) подробно описаны в отчете о разработке модели, и изложенный в отчете о разработке алгоритм построения модели воспроизводим сторонним пользователям отчета о разработке, в том числе сопутствующие процессу разработки модели ПВР документы, необходимые для воспроизведения данного алгоритма, приложены к отчету о разработке.

В рамках оценки процессов разработки и внедрения внутренних моделей ПВР (рейтинговых систем) СВА рекомендуется осуществлять следующие аудиторские мероприятия.

4.3. Провести анализ отчетов о разработке на соответствие требованиям Положения N 845-П и внутренних методик банка. В частности, проанализировать корректность процедур и методов, примененных в ходе разработки внутренних моделей ПВР (рейтинговых систем) в отношении:

4.3.1. сбора и очистки данных и их соответствия требованиям Приложения 2 к Положению N 845-П (в том числе описание источников данных, используемых при разработке);

4.3.2. анализа репрезентативности данных, использованных при разработке внутренней модели ПВР, текущему портфелю банка:

- соответствия сегмента, данные которого использовались для разработки внутренней модели ПВР, сегменту, к которому применяется внутренняя модель ПВР;

- репрезентативности распределения и диапазона значений факторов внутренней модели ПВР;

4.3.3. используемого определения дефолта (определение дефолта, применяемое в банке в период, за который сформирована выборка для построения внутренней модели ПВР, соответствует текущему определению дефолта или сделана надбавка, рассчитанная в соответствии с Приложением 3 к Положению N 845-П);

4.3.4. алгоритма формирования выборок для построения модели, в том числе:

- описание соответствия сегмента для моделирования и сегмента применения внутренней модели ПВР;

- обоснование достаточности данных для построения внутренней модели ПВР (например, применительно к модели оценки уровня потерь при дефолте, должен быть обоснован выбранный период для "вызревания" целевой переменной и метод учета наблюдений с незавершенным периодом взыскания (например, метод экстраполяции)).

- обоснование выбранного для построения внутренней модели ПВР периода;

- периодичность формирования срезов данных за период, использованный для построения внутренних моделей ПВР;

- подробное описание случаев исключения "аномалий" из выборки для разработки: мошеннические операции, наблюдения с некорректными данными и (или) заемщики с нулевой задолженностью и т.п. (при этом с целью соблюдения принципа консерватизма дефолтные наблюдения не должны исключаться из выборки для расчета центральной тенденции и калибровочной выборки);

4.3.5. алгоритма отбора итоговых факторов внутренней модели ПВР на соответствие следующим условиям:

- приведено описание проведения оценки статистической значимости факторов "длинного" и "короткого" списков (однофакторного анализа, многофакторного анализа), а также отражено обоснование включения в модель факторов, не являющихся статистически значимыми и (или) скоррелированными (при наличии);

- влияние фактора соответствует экономической логике;

- ранжирующая способность фактора выше порогового значения;

- фактор статистически значим (по p-value, где применимо);

- отсутствие существенного ухудшения ранжирующей способности фактора на тестовой выборке;

- описан порядок обработки (учета) во внутренней модели ПВР факторов, набор значений по которым доступен за меньший период, чем период, использованный при разработке;

4.3.6. используемых подходов к моделированию, применяемых предпосылок, допущений, подходов, граничных значений, экспертных решений сотрудников, ответственных за разработку внутренних моделей ПВР (при наличии) и их достаточность и обоснованность (в том числе, отражение способа объединения профессионального суждения и результатов моделирования при использовании профессиональных суждений подразделения, осуществляющего кредитный анализ и (или) разработку рейтинговой системы для учета существенной информации о характеристиках заемщика (кредитного требования);

4.3.7. определения рейтинговой шкалы заемщиков (финансовых инструментов). В частности, СВА проверяет наличие внутренней методики разработки рейтинговой шкалы, детализирующей, в том числе, обновления средних значений оценок вероятности дефолта по разрядам рейтинговой шкалы;

4.3.8. определения целевой переменной, и выбора целевой переменной (для моделей EAD);

4.3.9. обоснования определения периода экономического спада (для расчета уровня потерь при дефолте, соответствующего периодам экономического спада, LGD Downturn): критерии определения и количественные параметры экономического спада, длительность периода экономического спада;

4.3.10. иных требований, установленных во внутренних методиках банка, в отношении разработки внутренних моделей ПВР.

4.3.11. описания условий, при которых использование внутренней модели ПВР является неприемлемым;

4.4. Провести проверку качества данных, использованных при построении и первичной валидации внутренних моделей ПВР (рейтинговых систем) на соответствие установленным критериям полноты, точности, достоверности и актуальности во внутренних методиках банка и требованиям Приложений 2 и 3 к Положению N 845-П: корректности данных по событиям дефолта по каждому из критериев дефолта (включая определение просроченной задолженности), сегментации (включая значения критериев сегментации) по заемщикам (кредитным требованиям);

4.4.2. корректности заполнения и качество сбора данных по факторам, используемым во внутренней модели ПВР (в том числе, сверки данных финансовой отчетности по корпоративным заемщикам с данными из независимых источников, проверки корректности данных, сформированных из Бюро кредитных историй, данных по исковым требованиям к заемщику);

4.4.3. корректности данных по заемщикам (кредитным требованиям), использованных при моделировании, которые были воспроизведены и собраны вручную в банковских ИТ-системах, с независимыми источниками данных в рамках требования абзаца 6 пункта 3 Приложения 2 к Положению N 845-П (если применимо);

4.5. Провести проверку корректности определения целевой переменной в выборках для разработки внутренних моделей ПВР и его соответствия внутренним методикам банка, путем изучения скриптов, анализа алгоритмов их формирования, выборочного пересчета значений. Например, для целевой переменной "уровень потерь при дефолте" рекомендуется провести следующие проверки и сравнения полученной итоговой переменной с данными в ИС банка:

- полнота данных для расчета (например, учтены средства, предоставленные заемщику после даты наступления дефолта);

- корректность расчетов (отсутствует дублирование средств взыскания, для кредитных требований, по которым зафиксирован исход "продажа", в качестве возмещения учитывается реальный денежный поток, а не балансовая задолженность на дату уступки права требования);

- обоснованность и консервативность выбранных подходов приведено обоснование выбранной ставки дисконтирования, оценена ее консервативность (в т.ч. в сравнении с контрактной ставкой).

4.6. Провести проверку калибровки внутренней модели ПВР с точки зрения статистической обоснованности и консервативности метода проведения калибровки (рекалибровки) и соблюдения периодичности и сроков проведения в соответствии с внутренними методиками банка;

4.7. Провести проверку реализации программного кода внутренней модели ПВР (рейтинговой системы) в промышленных ИС банка на предмет ее соответствия среде разработки (при воспроизведении кода внутренней модели ПВР (рейтинговой системы) в промышленной эксплуатации итоговое значение рейтинга (уровня кредитоспособности), оценок компонентов кредитного риска соответствует значению, полученному при воспроизведении кода внутренней модели ПВР (рейтинговой системы), используемого в среде разработки);

4.8. Провести проверку программного кода внутренней модели ПВР (рейтинговой системы) и процесса ее применения на предмет соответствия алгоритму, отраженному в отчете о разработке внутренней модели ПВР (при воспроизведении расчета рейтинга (уровня кредитоспособности), оценок компонентов кредитного риска) согласно "промышленной" документации (внутренним методикам банка) <1> полученный результат соответствует алгоритму, отраженному в отчете о разработке внутренней модели ПВР (рейтинговой системы) и применение внутренней модели ПВР (рейтинговой системы) и ее отдельных "модулей" (при наличии) осуществляется последовательно в соответствии с отчетом о разработке);

--------------------------------

<1> Документация, которая описывает порядок расчета рейтинга (уровня кредитоспособности), оценок компонентов кредитного риска и используется в среде эксплуатации, промышленной среде.

4.9. Провести анализ результатов тестирования внутренних моделей ПВР (рейтинговых систем) на данных за пределами выборки для разработки на сопоставимость с результатами тестирования, полученными при разработке на данных первоначальной выборки;

4.10. Провести анализ соответствия рейтингов (уровня кредитоспособности), расчет которых воспроизведен в соответствии с отчетом о разработке внутренних моделей ПВР (рейтинговых систем), рейтингам (уровню кредитоспособности), рассчитанным с помощью внутренних моделей ПВР (рейтинговых систем), внедренным в эксплуатацию (воспроизвести расчет рейтингов в соответствии с внутренними методиками банка и отчетом о разработке).