Обучение с подкреплением — одна из крупнейших тем исследований в области искусственного интеллекта и машинного обучения сегодня благодаря его потенциалу для преобразования бизнеса. Он имитирует обучение, которое происходит в реальном мире, и поэтому исследователи с оптимизмом смотрят на то, что помощь ИИ и машинному обучению в достижении сложных целей будет иметь большое значение.
Что такое обучение с подкреплением
Обучение с подкреплением (RL) — это одна из трех парадигм машинного обучения, остальные — обучение с учителем и обучение без учителя. Обучение с подкреплением — это форма машинного обучения, основанная на концепции, согласно которой программные агенты могут выполнять действия в определенной среде, чтобы получить вознаграждение. Машина использует алгоритмы обучения с подкреплением, чтобы определить, какие шаги следует предпринять, на основе обратной связи из окружающей среды.
RL включает в себя последовательные проблемы принятия решений. Это означает, что агент взаимодействует с окружающей средой, совершая действия. Цель агента — максимизировать ожидаемое вознаграждение. Чтобы действовать на уровне, близком к оптимальному, агент должен быть в состоянии рассуждать о долгосрочных последствиях своих действий, даже если немедленная выгода, связанная с этим, может быть отрицательной. Каждое действие последовательно влияет на следующее, и поэтому агент должен планировать ряд действий, которые максимизируют вознаграждение.
Среда RL обычно моделируется как марковский процесс принятия решений (MDP) и использует методы динамического программирования. Некоторые из наиболее популярных алгоритмов обучения с подкреплением — это DQN (глубокая сеть Q), SARSA (государственное действие, вознаграждение, государственное действие) и Q-Learning.
Бизнес-приложения
Обучение с подкреплением требует огромных объемов данных. Таким образом, применение обучения с подкреплением в основном встречается в таких областях, как робототехника и игровой процесс, где данные легко доступны.
В настоящее время организации и учреждения начинают внедрять обучение с подкреплением для задач, где требуется последовательное принятие решений и где обучение с подкреплением может помочь экспертам-людям или автоматизировать процесс принятия решений. Вот некоторые из них:
Робототехника
Обучение с подкреплением обеспечивает принципиальную основу, которая позволяет агентам взаимодействовать с окружающей средой, чтобы научиться идеальному поведению. Обучение с подкреплением может предоставить контроллерам роботов спецификации того, что делать. Затем агент будет взаимодействовать с окружающей средой, соответствующим образом изменять поведение и получать вознаграждение.
игра
Самый известный пример использования обучения с подкреплением — это AlphaGo, которая победила людей в игре Go. Использование искусственного интеллекта и машинного обучения в играх — это не просто развлечение и игра: обучающее программное обеспечение для оптимизации результатов игр и превосходства игроков дает исследователям возможность понять, как можно улучшить и даже оптимизировать различные процессы в различных областях.
Здравоохранение
RL использовался в медицинских приложениях, начиная от чат-ботов и заканчивая патологией и онкологией. Машинное зрение и другие технологии машинного обучения используются, чтобы помочь патологоанатомам и радиологам быстрее получать результаты. Совсем недавно исследователи успешно использовали глубокое обучение и RL для обучения алгоритмов распознаванию раковой ткани.
Автономные транспортные средства
Большинство автономных транспортных средств и дронов имеют алгоритмы усиления в центре. Они требуют больших объемов данных, используют лидар, HD-карты и другие технологии для построения трехмерного мира для обучения агента. Теперь новые стартапы выводят RL в новое направление в автономных транспортных средствах. Например, компания Wayve стремится работать над роботизированным интеллектом, не требуя больших моделей, датчиков и бесконечных данных. Вместо этого они стремятся найти эффективный процесс обучения, который позволяет быстро учиться методом проб и ошибок. Их автономный автомобиль до сих пор успешно использовал алгоритм RL без моделей, называемый градиентами глубокой детерминации (DDPG), для решения задачи следования по полосе. Это позволяет автомобилю легче и быстрее адаптироваться к новым условиям, опираясь на свой прошлый опыт.
Чат-боты
RL используется для создания целевого чат-бота. Целенаправленные чат-боты используются предприятиями, чтобы помочь своим клиентам с определенной целью, такой как бронирование билетов, бронирование отелей и т. д. Как правило, диалоговая система представляет собой ансамбль моделей NLG, включая модели на основе нейронных сетей и шаблонов. RL применяется к данным и взаимодействиям с реальными пользователями, чтобы научить системного агента «общаться» с людьми с помощью текста.
Хотя RL уже давно используется в академических кругах, сейчас он набирает обороты в отрасли, в основном благодаря своей способности сочетать новейшие алгоритмы глубокого обучения с системами, основанными на принятии решений, для получения оптимизированных результатов. Исследователи надеются, что вместе RL и Deep Learning быстро приблизят их к созданию искусственного общего интеллекта, который изменит правила игры.
Первоначально опубликовано на www.triconinfotech.com 26 апреля 2019 г.
