Валидация моделей
Подборка наиболее важных документов по запросу Валидация моделей (нормативно–правовые акты, формы, статьи, консультации экспертов и многое другое).
Статьи, комментарии, ответы на вопросы
"Цифровизация публичного финансового контроля: монография"
(Антропцева И.О.)
("Статут", 2024)Центральный банк РФ разработал "дорожную карту" по внедрению SupTech и RegTech, поскольку его реализация позволит снизить регуляторную нагрузку на поднадзорные организации, повысить качество деятельности Банка России в сфере контроля и надзора, а также автоматизировать процессы соблюдения требований регулятора участниками финансового рынка <1>. На 2019 г. были реализованы следующие проекты: система надзорного стресс-тестирования банковского сектора, рекомендации по RegTech для участников рынка, валидация и надзор за применением моделей оценки кредитного риска для банков, перешедших на применение подхода на основе внутренних рейтингов, анализа взаимосвязанности юридических лиц <2>. В разработке находились следующие инициативы: внедрение системы мониторинга и анализа операционных рисков, создание ЮГ-платформы ("знай своего клиента"), создание единого реестра залогов, совершенствование мониторинга операций клиентов на предмет выявления недобросовестных практик, подготовка предложений по автоматизированной оценке и анализу портфелей ценных бумаг, система аудита информационной безопасности, стресс-тестирования (киберучения) <3>. Таким образом, можно сделать вывод, что на 2019 г. Банк России одновременно с зарубежными регуляторами активно начал работу по внедрению новых технологий и разработке технологических решений.
(Антропцева И.О.)
("Статут", 2024)Центральный банк РФ разработал "дорожную карту" по внедрению SupTech и RegTech, поскольку его реализация позволит снизить регуляторную нагрузку на поднадзорные организации, повысить качество деятельности Банка России в сфере контроля и надзора, а также автоматизировать процессы соблюдения требований регулятора участниками финансового рынка <1>. На 2019 г. были реализованы следующие проекты: система надзорного стресс-тестирования банковского сектора, рекомендации по RegTech для участников рынка, валидация и надзор за применением моделей оценки кредитного риска для банков, перешедших на применение подхода на основе внутренних рейтингов, анализа взаимосвязанности юридических лиц <2>. В разработке находились следующие инициативы: внедрение системы мониторинга и анализа операционных рисков, создание ЮГ-платформы ("знай своего клиента"), создание единого реестра залогов, совершенствование мониторинга операций клиентов на предмет выявления недобросовестных практик, подготовка предложений по автоматизированной оценке и анализу портфелей ценных бумаг, система аудита информационной безопасности, стресс-тестирования (киберучения) <3>. Таким образом, можно сделать вывод, что на 2019 г. Банк России одновременно с зарубежными регуляторами активно начал работу по внедрению новых технологий и разработке технологических решений.
Статья: Практический подход к расчету и аллокации экономического капитала под кредитный риск
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 3)Без инструментария по расчету неожидаемых потерь - значения экономического капитала - невозможно себе представить современную систему управления рисками. Обоснованных подходов к валидации моделей экономического капитала практически не существует. Действительно, случаи, когда так называемые неожидаемые потери (UL) полностью реализовываются, в отличие от ожидаемых потерь (EL), встречались в практике чрезвычайно редко. Современная теория экономического капитала не дает однозначных методов его расчета, поэтому разработка и практическое использование данного инструментария во многом основаны на интуиции и практическом опыте, а не научно обоснованных концепциях.
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 3)Без инструментария по расчету неожидаемых потерь - значения экономического капитала - невозможно себе представить современную систему управления рисками. Обоснованных подходов к валидации моделей экономического капитала практически не существует. Действительно, случаи, когда так называемые неожидаемые потери (UL) полностью реализовываются, в отличие от ожидаемых потерь (EL), встречались в практике чрезвычайно редко. Современная теория экономического капитала не дает однозначных методов его расчета, поэтому разработка и практическое использование данного инструментария во многом основаны на интуиции и практическом опыте, а не научно обоснованных концепциях.
Нормативные акты
Статья: Регулирование банка России: модельный подход в расчете ПДН и индивидуальный рейтинг. Применение моделей
(Симонян Н.)
("Банковское кредитование", 2024, N 5)Указанием N 6579-У (в ред. с 1 ноября 2024 г.) установлено ограничение использования в качестве фактора условий предоставления кредита и производных от них, а также фактической величины дохода. При этом не ограничивается применение категориальных переменных (например, наличие вклада), которые при расчете коэффициента Шепли могут быть отнесены к существенно влияющим на величину дохода заемщика. Особое внимание при разработке модели требуется уделить корреляционному анализу, оценке переобучения модели, подбору ее гиперпараметров, а также качеству данных в выборках для построения, тестирования и валидации модели.
(Симонян Н.)
("Банковское кредитование", 2024, N 5)Указанием N 6579-У (в ред. с 1 ноября 2024 г.) установлено ограничение использования в качестве фактора условий предоставления кредита и производных от них, а также фактической величины дохода. При этом не ограничивается применение категориальных переменных (например, наличие вклада), которые при расчете коэффициента Шепли могут быть отнесены к существенно влияющим на величину дохода заемщика. Особое внимание при разработке модели требуется уделить корреляционному анализу, оценке переобучения модели, подбору ее гиперпараметров, а также качеству данных в выборках для построения, тестирования и валидации модели.
Статья: Моделирование в праве
(Дегтярев М.В.)
("Вестник Пермского университета. Юридические науки", 2021, N 3)- проблемы, сопряженные с получением данных, а также валидацией модели, должны учитываться, однако не должны использоваться в качестве причины для отказа от моделирования или использования его результатов;
(Дегтярев М.В.)
("Вестник Пермского университета. Юридические науки", 2021, N 3)- проблемы, сопряженные с получением данных, а также валидацией модели, должны учитываться, однако не должны использоваться в качестве причины для отказа от моделирования или использования его результатов;
Статья: Специфика, проблемы, риски и перспективы правового регулирования общественных отношений в сфере образования в условиях внедрения искусственного интеллекта
(Киселев А.С.)
("Вестник Пермского университета. Юридические науки", 2026, N 1)Практика оценки качества ИИ-технологий в образовании развивается через совместные инициативы профильных министерств, научного сообщества и частного сектора. Уже сегодня активно формируются рекомендации по тестированию систем автоматической оценки знаний по валидации моделей машинного обучения применительно к конкретным образовательным задачам, по оценке устойчивости к ошибкам и т.д. Такие технико-правовые меры направлены на создание критериев приемлемости результатов ИИ, повышение доверия к автоматизированным инструментам и обеспечение механизмов защиты права (например, возможность оспаривания автоматизированного решения путем привлечения человека-эксперта).
(Киселев А.С.)
("Вестник Пермского университета. Юридические науки", 2026, N 1)Практика оценки качества ИИ-технологий в образовании развивается через совместные инициативы профильных министерств, научного сообщества и частного сектора. Уже сегодня активно формируются рекомендации по тестированию систем автоматической оценки знаний по валидации моделей машинного обучения применительно к конкретным образовательным задачам, по оценке устойчивости к ошибкам и т.д. Такие технико-правовые меры направлены на создание критериев приемлемости результатов ИИ, повышение доверия к автоматизированным инструментам и обеспечение механизмов защиты права (например, возможность оспаривания автоматизированного решения путем привлечения человека-эксперта).
Статья: Ключевые направления внутреннего аудита в рамках реализации ПВР
(Драганюк Е.)
("Риск-менеджмент в кредитной организации", 2025, N 3)Соответственно, СВА должна независимо и регулярно оценивать эффективность управленческих решений при разработке, внедрении и применении ПВР во внутренних процессах банка, их влияние на процесс выявления регуляторного риска и управления регуляторным риском. Определяющая роль постоянного контроля и аудита всех ключевых процессов в периметре ПВР (в особенности кредитного процесса), системы управления рисками, процесса внутренней валидации моделей ПВР (рейтинговых систем), точности и корректности модельных оценок и параметров кредитного риска (PD, LGD, EL, CCF) была отмечена в разъяснениях Европейского банковского управления (EBA) <8>. При этом в данных разъяснениях не раскрыты "лучшие практики" аудита процессов применения ПВР: подходы к формированию программы аудиторской проверки, сами аудиторские процедуры, алгоритм проведения проверки, требования к содержанию самих отчетов аудита процессов применения ПВР.
(Драганюк Е.)
("Риск-менеджмент в кредитной организации", 2025, N 3)Соответственно, СВА должна независимо и регулярно оценивать эффективность управленческих решений при разработке, внедрении и применении ПВР во внутренних процессах банка, их влияние на процесс выявления регуляторного риска и управления регуляторным риском. Определяющая роль постоянного контроля и аудита всех ключевых процессов в периметре ПВР (в особенности кредитного процесса), системы управления рисками, процесса внутренней валидации моделей ПВР (рейтинговых систем), точности и корректности модельных оценок и параметров кредитного риска (PD, LGD, EL, CCF) была отмечена в разъяснениях Европейского банковского управления (EBA) <8>. При этом в данных разъяснениях не раскрыты "лучшие практики" аудита процессов применения ПВР: подходы к формированию программы аудиторской проверки, сами аудиторские процедуры, алгоритм проведения проверки, требования к содержанию самих отчетов аудита процессов применения ПВР.
Статья: Практический подход к валидации рейтинговых моделей при реализации ПВР-подхода: методика 5 x 5
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 1)"Риск-менеджмент в кредитной организации", 2024, N 1
(Чайка М.)
("Риск-менеджмент в кредитной организации", 2024, N 1)"Риск-менеджмент в кредитной организации", 2024, N 1
Статья: Патентный поиск по химическим соединениям с использованием сервиса "Синтелли" в цифровой поисковой платформе Роспатента
(Пинигина А.Е., Мухамеджанова А.А., Шимкина Н.Г., Золкин Д.С.)
("Вестник ФИПС", 2025, N 4)Данные для обучения на обоих этапах включали примерно 1 000 патентов с разметкой BIO, выполненной асессорами. Функции потерь для обучения моделей: CrossEntropyLoss - для этапа детекции протоколов, MultiLabelSoftMarginLoss - для этапа распознавания химических названий. Валидация моделей проводилась с помощью 3-фолдовой кросс-валидации и отложенного теста.
(Пинигина А.Е., Мухамеджанова А.А., Шимкина Н.Г., Золкин Д.С.)
("Вестник ФИПС", 2025, N 4)Данные для обучения на обоих этапах включали примерно 1 000 патентов с разметкой BIO, выполненной асессорами. Функции потерь для обучения моделей: CrossEntropyLoss - для этапа детекции протоколов, MultiLabelSoftMarginLoss - для этапа распознавания химических названий. Валидация моделей проводилась с помощью 3-фолдовой кросс-валидации и отложенного теста.