LITMIR.BIZ

      Учитывая, что минимизация функции достигается в направлении антиградиента функции ошибки, алгоритм (b) настраивается так, что целевым значением является не , а антиградиент , то есть при обучении алгоритма (b) вместо пар (x⁽ⁱ⁾, y⁽ⁱ⁾) используются пары (x⁽ⁱ⁾, –L'(y⁽ⁱ⁾, h_θ(x⁽ⁱ⁾). Если J_b(θ) все еще велико, подбирается третий алгоритм (с) и т.д.

      При этом, как указывается в [[64]], «во многих экспериментах наблюдалось практически неограниченное уменьшение частоты ошибок на независимой тестовой выборке по мере наращивания композиции. Более того, качество на тестовой выборке часто продолжало улучшаться даже после достижения безошибочного распознавания всей обучающей выборки. Это перевернуло существовавшие долгое время представления о том, что для повышения обобщающей способности необходимо ограничивать сложность алгоритмов. На примере бустинга стало понятно, что хорошим качеством могут обладать сколь угодно сложные композиции, если их правильно настраивать».

      При решении задач классификации наиболее эффективным считается бустинг над деревьями решений. Одной из самых популярных библиотек, реализующих бустинг над деревьями решений, является XGBoost (Extreme Gradient Boosting). Загрузка библиотеки и создание классификатора выполняются командами: