Валидация моделей
Подборка наиболее важных документов по запросу Валидация моделей (нормативно–правовые акты, формы, статьи, консультации экспертов и многое другое).
Статьи, комментарии, ответы на вопросы
Статья: Практический подход к валидации рейтинговых моделей при реализации ПВР-подхода: методика 5 x 5
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 1)"Риск-менеджмент в кредитной организации", 2024, N 1
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 1)"Риск-менеджмент в кредитной организации", 2024, N 1
Статья: Патентный поиск по химическим соединениям с использованием сервиса "Синтелли" в цифровой поисковой платформе Роспатента
(Пинигина А.Е., Мухамеджанова А.А., Шимкина Н.Г., Золкин Д.С.)
("Вестник ФИПС", 2025, N 4)Данные для обучения на обоих этапах включали примерно 1 000 патентов с разметкой BIO, выполненной асессорами. Функции потерь для обучения моделей: CrossEntropyLoss - для этапа детекции протоколов, MultiLabelSoftMarginLoss - для этапа распознавания химических названий. Валидация моделей проводилась с помощью 3-фолдовой кросс-валидации и отложенного теста.
(Пинигина А.Е., Мухамеджанова А.А., Шимкина Н.Г., Золкин Д.С.)
("Вестник ФИПС", 2025, N 4)Данные для обучения на обоих этапах включали примерно 1 000 патентов с разметкой BIO, выполненной асессорами. Функции потерь для обучения моделей: CrossEntropyLoss - для этапа детекции протоколов, MultiLabelSoftMarginLoss - для этапа распознавания химических названий. Валидация моделей проводилась с помощью 3-фолдовой кросс-валидации и отложенного теста.
Нормативные акты
Положение Банка России от 02.11.2024 N 845-П
"О порядке расчета величины кредитного риска банками с применением банковских методик управления кредитным риском и моделей количественной оценки кредитного риска"
(вместе с "Требованиями к качеству используемых в банковских моделях количественной оценки кредитного риска данных", "Требованиями к консервативной надбавке, применяемой в рамках порядка расчета величины принимаемого банком кредитного риска с применением банковских методик управления кредитным риском и моделей количественной оценки кредитного риска")
(Зарегистрировано в Минюсте России 28.12.2024 N 80878)Глава 15. Требования к банковской методике управления кредитным риском по внутренней валидации методик управления кредитным риском, моделей количественной оценки рисков и параметров кредитного риска
"О порядке расчета величины кредитного риска банками с применением банковских методик управления кредитным риском и моделей количественной оценки кредитного риска"
(вместе с "Требованиями к качеству используемых в банковских моделях количественной оценки кредитного риска данных", "Требованиями к консервативной надбавке, применяемой в рамках порядка расчета величины принимаемого банком кредитного риска с применением банковских методик управления кредитным риском и моделей количественной оценки кредитного риска")
(Зарегистрировано в Минюсте России 28.12.2024 N 80878)Глава 15. Требования к банковской методике управления кредитным риском по внутренней валидации методик управления кредитным риском, моделей количественной оценки рисков и параметров кредитного риска
Статья: Практический подход к расчету и аллокации экономического капитала под кредитный риск
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 3)Без инструментария по расчету неожидаемых потерь - значения экономического капитала - невозможно себе представить современную систему управления рисками. Обоснованных подходов к валидации моделей экономического капитала практически не существует. Действительно, случаи, когда так называемые неожидаемые потери (UL) полностью реализовываются, в отличие от ожидаемых потерь (EL), встречались в практике чрезвычайно редко. Современная теория экономического капитала не дает однозначных методов его расчета, поэтому разработка и практическое использование данного инструментария во многом основаны на интуиции и практическом опыте, а не научно обоснованных концепциях.
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 3)Без инструментария по расчету неожидаемых потерь - значения экономического капитала - невозможно себе представить современную систему управления рисками. Обоснованных подходов к валидации моделей экономического капитала практически не существует. Действительно, случаи, когда так называемые неожидаемые потери (UL) полностью реализовываются, в отличие от ожидаемых потерь (EL), встречались в практике чрезвычайно редко. Современная теория экономического капитала не дает однозначных методов его расчета, поэтому разработка и практическое использование данного инструментария во многом основаны на интуиции и практическом опыте, а не научно обоснованных концепциях.
"Цифровизация публичного финансового контроля: монография"
(Антропцева И.О.)
("Статут", 2024)Центральный банк РФ разработал "дорожную карту" по внедрению SupTech и RegTech, поскольку его реализация позволит снизить регуляторную нагрузку на поднадзорные организации, повысить качество деятельности Банка России в сфере контроля и надзора, а также автоматизировать процессы соблюдения требований регулятора участниками финансового рынка <1>. На 2019 г. были реализованы следующие проекты: система надзорного стресс-тестирования банковского сектора, рекомендации по RegTech для участников рынка, валидация и надзор за применением моделей оценки кредитного риска для банков, перешедших на применение подхода на основе внутренних рейтингов, анализа взаимосвязанности юридических лиц <2>. В разработке находились следующие инициативы: внедрение системы мониторинга и анализа операционных рисков, создание ЮГ-платформы ("знай своего клиента"), создание единого реестра залогов, совершенствование мониторинга операций клиентов на предмет выявления недобросовестных практик, подготовка предложений по автоматизированной оценке и анализу портфелей ценных бумаг, система аудита информационной безопасности, стресс-тестирования (киберучения) <3>. Таким образом, можно сделать вывод, что на 2019 г. Банк России одновременно с зарубежными регуляторами активно начал работу по внедрению новых технологий и разработке технологических решений.
(Антропцева И.О.)
("Статут", 2024)Центральный банк РФ разработал "дорожную карту" по внедрению SupTech и RegTech, поскольку его реализация позволит снизить регуляторную нагрузку на поднадзорные организации, повысить качество деятельности Банка России в сфере контроля и надзора, а также автоматизировать процессы соблюдения требований регулятора участниками финансового рынка <1>. На 2019 г. были реализованы следующие проекты: система надзорного стресс-тестирования банковского сектора, рекомендации по RegTech для участников рынка, валидация и надзор за применением моделей оценки кредитного риска для банков, перешедших на применение подхода на основе внутренних рейтингов, анализа взаимосвязанности юридических лиц <2>. В разработке находились следующие инициативы: внедрение системы мониторинга и анализа операционных рисков, создание ЮГ-платформы ("знай своего клиента"), создание единого реестра залогов, совершенствование мониторинга операций клиентов на предмет выявления недобросовестных практик, подготовка предложений по автоматизированной оценке и анализу портфелей ценных бумаг, система аудита информационной безопасности, стресс-тестирования (киберучения) <3>. Таким образом, можно сделать вывод, что на 2019 г. Банк России одновременно с зарубежными регуляторами активно начал работу по внедрению новых технологий и разработке технологических решений.
Статья: Ключевые направления внутреннего аудита в рамках реализации ПВР
(Драганюк Е.)
("Риск-менеджмент в кредитной организации", 2025, N 3)Соответственно, СВА должна независимо и регулярно оценивать эффективность управленческих решений при разработке, внедрении и применении ПВР во внутренних процессах банка, их влияние на процесс выявления регуляторного риска и управления регуляторным риском. Определяющая роль постоянного контроля и аудита всех ключевых процессов в периметре ПВР (в особенности кредитного процесса), системы управления рисками, процесса внутренней валидации моделей ПВР (рейтинговых систем), точности и корректности модельных оценок и параметров кредитного риска (PD, LGD, EL, CCF) была отмечена в разъяснениях Европейского банковского управления (EBA) <8>. При этом в данных разъяснениях не раскрыты "лучшие практики" аудита процессов применения ПВР: подходы к формированию программы аудиторской проверки, сами аудиторские процедуры, алгоритм проведения проверки, требования к содержанию самих отчетов аудита процессов применения ПВР.
(Драганюк Е.)
("Риск-менеджмент в кредитной организации", 2025, N 3)Соответственно, СВА должна независимо и регулярно оценивать эффективность управленческих решений при разработке, внедрении и применении ПВР во внутренних процессах банка, их влияние на процесс выявления регуляторного риска и управления регуляторным риском. Определяющая роль постоянного контроля и аудита всех ключевых процессов в периметре ПВР (в особенности кредитного процесса), системы управления рисками, процесса внутренней валидации моделей ПВР (рейтинговых систем), точности и корректности модельных оценок и параметров кредитного риска (PD, LGD, EL, CCF) была отмечена в разъяснениях Европейского банковского управления (EBA) <8>. При этом в данных разъяснениях не раскрыты "лучшие практики" аудита процессов применения ПВР: подходы к формированию программы аудиторской проверки, сами аудиторские процедуры, алгоритм проведения проверки, требования к содержанию самих отчетов аудита процессов применения ПВР.
Статья: Искусственный интеллект и борьба с подделками: возможности и перспективы
(Тимофеева А.С.)
("ИС. Промышленная собственность", 2025, N 4)Для преодоления сложности обучения моделей необходимо привлекать квалифицированных специалистов в области машинного обучения, использовать передовые алгоритмы и методы обучения, а также проводить тщательную валидацию и тестирование моделей на различных наборах данных.
(Тимофеева А.С.)
("ИС. Промышленная собственность", 2025, N 4)Для преодоления сложности обучения моделей необходимо привлекать квалифицированных специалистов в области машинного обучения, использовать передовые алгоритмы и методы обучения, а также проводить тщательную валидацию и тестирование моделей на различных наборах данных.
Статья: Регулирование банка России: модельный подход в расчете ПДН и индивидуальный рейтинг. Применение моделей
(Симонян Н.)
("Банковское кредитование", 2024, N 5)Указанием N 6579-У (в ред. с 1 ноября 2024 г.) установлено ограничение использования в качестве фактора условий предоставления кредита и производных от них, а также фактической величины дохода. При этом не ограничивается применение категориальных переменных (например, наличие вклада), которые при расчете коэффициента Шепли могут быть отнесены к существенно влияющим на величину дохода заемщика. Особое внимание при разработке модели требуется уделить корреляционному анализу, оценке переобучения модели, подбору ее гиперпараметров, а также качеству данных в выборках для построения, тестирования и валидации модели.
(Симонян Н.)
("Банковское кредитование", 2024, N 5)Указанием N 6579-У (в ред. с 1 ноября 2024 г.) установлено ограничение использования в качестве фактора условий предоставления кредита и производных от них, а также фактической величины дохода. При этом не ограничивается применение категориальных переменных (например, наличие вклада), которые при расчете коэффициента Шепли могут быть отнесены к существенно влияющим на величину дохода заемщика. Особое внимание при разработке модели требуется уделить корреляционному анализу, оценке переобучения модели, подбору ее гиперпараметров, а также качеству данных в выборках для построения, тестирования и валидации модели.
Статья: Моделирование в праве
(Дегтярев М.В.)
("Вестник Пермского университета. Юридические науки", 2021, N 3)- проблемы, сопряженные с получением данных, а также валидацией модели, должны учитываться, однако не должны использоваться в качестве причины для отказа от моделирования или использования его результатов;
(Дегтярев М.В.)
("Вестник Пермского университета. Юридические науки", 2021, N 3)- проблемы, сопряженные с получением данных, а также валидацией модели, должны учитываться, однако не должны использоваться в качестве причины для отказа от моделирования или использования его результатов;