Новый метод построения деревьев решений с произвольными функциями потерь

Деревья решений часто применяются для обработки табличных данных, задач классификации и регрессии, и лежат в основе множества ансамблевых моделей машинного обучения. Классические алгоритмы построения деревьев решений опираются на эвристические методы для выбора правил расщепления узлов дерева при обучении, что не гарантирует даже локальную оптимальность разбиения, и позволяет строить модели лишь для некоторых заранее определённых функций потерь. В данной работе рассматривается новый алгоритм построения деревьев решений, в основе которого лежит метод расщепления узлов, минимизирующий переменные компоненты разложения функции потерь в ряд до второго порядка. Таким образом, алгоритм позволяет строить деревья для оптимизации произвольных дважды дифференцируемых функций потерь. Также рассмотрены два варианта регуляризации. Применение нового алгоритма продемонстрировано на примере задачи классификации с бинарной перекрёстной энтропией в качестве функции потерь.