Оценка доверительных интервалов значений метрик алгоритмов классификации в задачах моделирования вероятности дефолта при передискретизации классов

В предложенной статье рассматривается проблема распределения метрик при оценке качества классификации в задаче определения вероятности дефолта при семплирования данных. Использование методов машинного обучения и искусственного интеллекта получило широкое применение в экономических исследованиях. Однако, выбор наилучшей модели с точки зрения оценки метрики может быть затруднительным, точечные оценки могут быть очень близки и в таком случае случае выбор наилучшей модели уже не будет являться очевидным. В статье предлагается методика оценки качества моделей, основанная на оценке доверительных интервалов для распределения метрик, полученных на разных горизонтах дефолта при разных балансах классов. Данный методика включает в себя несколько этапов: определение наилучшей методики семплирования для изменения баланса классов в выборке низкодефолтных портфелей, генерация наборов данных с разными балансами классов, вычисление доверительных интервалов метрик алгоритмов используя нормальное приближение и интервалы Джеффирса. Для проверки эффективности предложенного подхода было проведено несколько экспериментов на реальных данных дефолтов Итальянских банков. Результаты экспериментов показали, что интервал Джеффирса имеет тенденцию быть шире по сравнению с нормальным приближением, несмотря на достаточно большой набор данных из тысячи наблюдений. Для больших выборок интервал Джеффирса имеет более широкие диапазоны значений показателей по сравнению с теми, которые основаны на нормальном приближении, и это необходимо учитывать при выборе модели. Также показана зависимость изменения границ интервалов от баланса классов в исследуемой выборке.