umovestСтатистика и ЭкономикаStatistics and Economics2500-3925Plekhanov Russian University of Economics10.21686/2500-3925-2016-4-22-26umovest-1020Research ArticleСтатьиИССЛЕДОВАНИЕ ТОЧНОСТИ МЕТОДА ГРАДИЕНТНОГО БУСТИНГА СО СЛУЧАЙНЫМИ ПОВОРОТАМИACCURACY ANALYSIS OF THE GRADIENT BOOSTING METHOD WITH RANDOM ROTATIONSКитовВиктор ВладимировичKitovVictor V.

к.ф.-м. н., математик 1-й категории;

доцент;

доцент 

PhD in Mathematics, mathematician;

docent;

docent 

v.v.kitov@yandex.ruМосковский государственный университет им. Ломоносова; Научно-исследовательский университет «Высшая школа экономики»; Российский экономический университет им. Г.В.ПлехановаРоссияMoscow State University; National Research University “Higher School of Economics”; Plekhanov Russian University of EconomicsRussian Federation201614082016042226Copyright © Китов В.В., 20162016Китов В.В.Kitov V.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://statecon.rea.ru/jour/article/view/1020

В статье рассматривается метод градиентного бустинга с осуществлением случайных поворотов признакового пространства на каждом шаге обучения алгоритма. Исследуется качество данного метода на различных модельных задачах бинарной классификации. Полученные результаты анализируются и даются рекомендации по применению указанного метода.

Gradient boosting method with random rotations is considered, where before training each base learner random rotation is applied to the feature space. The accuracy metric of the given method is estimated for a broad range of generated problems of binary classification. Obtained results are evaluated and recommendations given for application of this method.

прогнозированиеклассификацияградиентный бустингслучайные поворотыforecastingclassificationgradient boostingrandom rotationsReferencesHastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2-ое изд. – Stanford, USA: Springer, 2009.Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. 2-e izd. – Stanford, USA: Springer, 2009.Abbott D. Why ensembles win data mining competitions. // Predictive Analytics Centre of Excellence Tech Talks, University of California, San Diego. http://pace.sdsc.edu/sites/pace/files/PACE_Abbott_WhyModelEnsemblesWinDataMiningCompetitions_20121114.pdf / 2012.Abbott D. Why ensembles win data mining competitions. // Predictive Analytics Centre of Excellence Tech Talks, University of California, San Diego. http://pace.sdsc.edu/sites/pace/files/PACE_Abbott_WhyModelEnsemblesWinDataMiningCompetitions_20121114.pdf / 2012.Китов В.В. Практические аспекты машинного обучения. // Открытые системы. СУБД. №1 / 2016. c. 14–17.Kitov V.V. Practical aspects of machine learning. // Open systems. SUBD. №1 / 2016. p. 14–17.Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System. https://arxiv.org/abs/1603.02754. DOI: 10.1145/2939672.2939785.Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System. https://arxiv.org/abs/1603.02754. DOI: 10.1145/2939672.2939785.Blaser R., Fryzlewicz P. Random Rotation Ensembles // Journal of Machine Learning Research №17 / 2016. c. 1–26.Blaser R., Fryzlewicz P. Random Rotation Ensembles // Journal of Machine Learning Research №17 / 2016. p. 1–26.Ozols M. How to generate a random unitary matrix. http://home.lu.lv/~sd20008/papers/essays/Random%20unitary%20[paper].pdf / 2009.Ozols M. How to generate a random unitary matrix. http://home.lu.lv/~sd20008/papers/essays/Random%20unitary%20[paper].pdf /2009.

The authors declare that there are no conflicts of interest present.