Ансамблевое моделирование — отличный способ улучшить производительность модели. Он использует несколько моделей для прогнозирования. Это пост из двух частей, часть 2 будет загружена в ближайшее время.

Что такое ансамблевое обучение?

По сути, ансамбль – это метод контролируемого обучения, объединяющий несколько слабых учащихся или моделей для создания сильного учащегося

Зачем использовать ансамблевое обучение?

Используя ансамблевое обучение, мы получаем мощность трех моделей, а значит, лучшее предсказание.

Основные техники ансамбля

Базовые методы ансамбля прогнозируют выходные данные наших моделей на основе трех критериев:

  1. Максимальное голосование
  2. Усреднение
  3. Взвешенное усреднение

Максимальное голосование

В Max Voting несколько моделей используются для прогнозирования каждого из входных данных. Прогноз каждой модели рассматривается как голосование. Прогноз, набравший большинство голосов, будет окончательным прогнозом.

Усреднение

В этом методе мы берем среднее значение всех прогнозов и используем его для окончательного прогноза.

Взвешенное усреднение

Это расширение метода усреднения. Здесь каждой модели присваиваются веса на основе, а окончательный прогноз основан на средневзвешенном значении. Веса назначаются в соответствии с нашим бизнес-кейсом.

Продвинутое обучение в ансамбле

При предварительном обучении ансамбля у нас есть следующие алгоритмы

Укладка

Стекирование использует предсказание из нескольких моделей для построения новой модели.

Шаги:

  1. Набор обучающих данных разбит на 10 частей.
  2. Базовая модель (например, DT) состоит из 9 деталей; прогноз делается на 10-й части.
  3. Базовая модельпрогнозируется на основе всего набора обучающих данных.
  4. Прогнозы делаются на основе тестового набора данных с использованием одной и той же модели (Базовая модель).
  5. Шаги 2–4 повторяются для другого алгоритма прогнозирования(например, KNN).
  6. Прогноз из набора поездов используется в качестве признаков для построения новой модели.
  7. Эта модель используется для окончательного прогноза.

Смешивание

Смешивание следует тому же подходу, что и наложение, но использует проверку (только набор задержек)набор из набора поездов для прогнозирования.

Шаги:

  1. Обучающий набор разделен на обучающий и проверочный наборы.
  2. Модели установлены на тренировочном комплекте.
  3. Прогнозы делаются на наборе Validation
  4. Набор проверки и его прогнозы используются в качестве признаков для построения новой модели.
  5. Окончательная модель используется для прогнозирования тестов и мета-функций.

Бэгинг

Бэггинг объединяет результаты нескольких моделей (обычно дерева решений) для получения обобщенной модели.

Начальная илиагрегация пакетов использует подмножества (пакеты), чтобы получить четкое представление о распределении данных.

Зачем использовать начальную загрузку?Потому что, если мы будем использовать одни и те же данные с разными моделями в ансамблевом обучении, наши результаты будут одинаковыми для всех моделей, поскольку входные данные одинаковы.

Шаги:

  1. Несколько подмножеств создаются с использованием исходного набора данных.
  2. Базовая модель создается на каждом из этих подмножеств.
  3. Модель работает параллельно и не зависит друг от друга.
  4. Окончательный прогноз определяется комбинацией прогнозов всех моделей.

Повышение

Повышение — это последовательный метод, при котором последующая модель пытается исправить ошибку предыдущей модели.

Шаги:

  1. Подмножество создается из исходного набора данных.
  2. Сначала всем точкам данных присваиваются одинаковые веса.
  3. На этом подмножестве создается базовая модель.
  4. Эта модель используется для прогнозирования всего набора данных.
  5. Ошибки обнаруживаются с использованием фактических значений и прогнозируемых значений.
  6. Точкам данных, которые неверно предсказаны, присваиваются более высокие веса.
  7. Создается другая модель, и для набора данных делаются прогнозы. Эта модель пытается исправить ошибку предыдущей модели.
  8. Впоследствии создаются аналогичные модели, каждая из которых пытается исправить ошибку предыдущей.
  9. Окончательная модель, то есть сильный ученик, будет средневзвешенным значением всех слабых учеников.

Темой для части 2 изучения ансамбля будут подробные алгоритмы ансамбля, такие как AdaBoost, XGBoost, Random Forest и т. д.

Нашли эту статью полезной? Следуйте за мной Vignesh, чтобы узнать больше.