Руководство для начинающих по обучению с подкреплением

Общий обзор моделей обучения с подкреплением

Обучение с подкреплением является четвертым основным методом обучения в машинном обучении наряду с обучением с учителем, обучение без учителя и полууправляемое обучение. Основное отличие состоит в том, что для обучения модели не нужны никакие данные. Он изучает структуры, получая вознаграждение за желаемое поведение и наказание за плохое.

Примеры обучения с подкреплением

Прежде чем мы сможем подробно рассмотреть, как выглядит процесс обучения таких моделей, следует понять, в каких ситуациях эти алгоритмы могут помочь:

• Обучение с подкреплением используется при обучении компьютера играть в игры. Цель состоит в том, чтобы узнать, какая тактика приводит к победе, а какая нет.
• В автономном вождении эти алгоритмы обучения также используются, чтобы автомобиль мог самостоятельно решить, какой образ действий лучше.
• Для кондиционирования воздуха в серверных комнатах модели обучения с подкреплением решают, когда и насколько охлаждать комнату для эффективного использования энергии.

Применение обучения с подкреплением обычно характеризуется тем, что необходимо принять большое количество последовательных решений. Программист также может конкретно прописать их компьютеру (например, комнатная температура: «Если температура поднимется выше 24 °C, то охладите до 20 °C»).

Однако с помощью обучения с подкреплением хочется избежать формулирования цепочки условий «если-то». С одной стороны, это может быть просто невозможно во многих случаях использования, таких как автономное вождение, поскольку программист не может предвидеть все возможности. С другой стороны, есть надежда, что эти модели также позволят разработать новые стратегии для решения сложных проблем, с которыми человек может вообще не справиться.

Как работает обучение с подкреплением

Модели обучения с подкреплением должны быть обучены самостоятельно принимать ряд решений. Предположим, мы хотим обучить такой алгоритм, агента, как можно более успешно играть в игру Pac-Man. Агент начинает с произвольной позиции на игровом поле и имеет ограниченное количество возможных действий, которые он может выполнять. В нашем случае это будут четыре направления (вверх, вниз, вправо или влево), по которым он может перемещаться по игровому полю.

Среда, в которой оказывается алгоритм в этой игре, — это игровое поле и движение призраков, с которыми нельзя сталкиваться. После каждого действия, например подняться, агент получает прямую обратную связь, вознаграждение. В Pac-Man это либо получение очков, либо встреча с призраком. Бывает и так, что после действия нет прямого вознаграждения, а оно происходит в будущем, например, в одном-двух дальнейших действиях. Для агента вознаграждение в будущем стоит меньше, чем немедленное вознаграждение.

Со временем у агента вырабатывается так называемая политика, т.е. стратегия действий, обещающая наивысшее долгосрочное вознаграждение. В первых раундах алгоритм выбирает совершенно случайные действия, так как еще не успел набрать никакого опыта. Однако со временем появляется многообещающая стратегия.

Различия между методами машинного обучения

В области машинного обучения различают четыре разных метода обучения:

1. Алгоритмы обучения с учителем изучают отношения, используя набор данных, который уже содержит метку, которую должна предсказать модель. Однако они могут распознавать и изучать только те структуры, которые содержатся в обучающих данных. Модели с учителем используются, например, при классификации изображений. Используя изображения, которые уже относятся к классу, они учатся распознавать отношения, которые затем можно применять к новым изображениям.
2. Алгоритмы обучения без учителя обучаются на наборе данных, но еще не имеющем этих меток. Они пытаются распознать свои собственные правила и структуры, чтобы иметь возможность классифицировать данные по группам с одинаковыми свойствами, насколько это возможно. Неконтролируемое обучение можно использовать, например, когда вы хотите разделить клиентов на группы на основе общих характеристик. Например, для этой цели можно использовать частоту заказов или сумму заказа. Однако модель сама решает, какие характеристики она использует.
3. Полууправляемое обучение – это смесь "обучения с учителем" и обучения без учителя. Модель имеет относительно небольшой набор данных с доступными метками и гораздо больший набор данных с немаркированными данными. Цель состоит в том, чтобы изучить отношения из небольшого количества помеченной информации и проверить эти отношения в неразмеченном наборе данных, чтобы извлечь из них уроки.
4. Обучение с подкреплением отличается от предыдущих методов тем, что ему не нужны обучающие данные, а просто работает и учится через описанную систему вознаграждения.

Нужны ли обучающие данные для обучения с подкреплением?

Да, модели обучения с подкреплением также требуют данных для обучения. Но по сравнению с другими методами машинного обучения эту информацию не нужно предоставлять во внешнем наборе данных, а можно создать во время обучения.

В мире машинного обучения данные необходимы для обучения хороших и надежных моделей. Обучение с учителем использует для этой цели помеченные человеком данные, которые лучше всего доступны в больших количествах. Обычно это дорого, а наборы данных очень сложно получить или создать. С другой стороны, обучение без учителя также требует большого количества данных, но ему не обязательно иметь ярлык. Это делает получение информации намного дешевле и проще.

Как мы уже видели, обучение с подкреплением полностью противоречит обучению с учителем и обучению без учителя. Тем не менее, принцип, согласно которому большее количество данных обычно приводит к лучшим результатам обучения, также применим и здесь. Однако отличие от других типов моделей машинного обучения заключается в том, что эти данные не обязательно предоставляются извне, а генерируются самой моделью.

Возьмем в качестве примера обучение игре: модель машинного обучения обучается побеждать в игре, т. е. ходы, ведущие к выигрышу, считаются положительными, а ходы, ведущие к проигрышу, считаются отрицательными. В этом сценарии модель может использовать множество прогонов игр в качестве обучающих данных, потому что цель «выиграть игру» четко определена. С каждой новой игрой модель обучается, генерируются новые обучающие данные, и модель становится лучше.

Является ли обучение с подкреплением будущим глубокого обучения?

Обучение с подкреплением не сможет заменить глубокое обучение в будущем. Эти две подобласти тесно связаны, но они не одно и то же. Алгоритмы глубокого обучения очень хорошо распознают структуры в больших наборах данных и применяют их к новым, неизвестным данным. С другой стороны, модели обучения с подкреплением принимают решения даже без наборов обучающих данных.

Во многих областях моделей машинного обучения и глубокого обучения по-прежнему будет достаточно для достижения хороших результатов. С другой стороны, успех обучения с подкреплением означает, что теперь могут быть открыты новые области искусственного интеллекта, которые ранее были немыслимы. Однако есть также приложения, такие как торговля акциями, где обучение с подкреплением заменит модели глубокого обучения, поскольку оно обеспечивает лучшие результаты.

В этой области были предприняты попытки научиться распознавать и торговать новыми акциями на основе прошлых рыночных данных. Однако для фондового бизнеса гораздо более перспективным может быть обучение алгоритма обучения с подкреплением для разработки конкретной стратегии, независимой от прошлых данных.

Это то, что вы должны взять с собой

• Обучение с подкреплением — это метод обучения в области машинного обучения.
• Это относится к моделям, которые обучены прогнозировать последовательность решений, обещающих максимально возможный успех.
• Обучение с подкреплением используется, например, для обучения компьютеров играть в игры или принимать правильные решения при автономном вождении.

Если вам нравится моя работа, подпишитесь здесь или загляните на мой сайт Data Basecamp! Кроме того, Medium позволяет вам бесплатно читать 3 статьи в месяц. Если вы хотите иметь неограниченныйдоступ к моим статьям и тысячам замечательных статей, не стесняйтесь получить членство за 5 долларов США в месяц, нажав на мою реферальную ссылку: https://medium.com/@niklas_lang/membership