Глава 5 Серия:

Код: https://github.com/nums11/rl

В предыдущей статье мы узнали о подходе MC для управления, который требует допущения начала исследования для решения проблемы поддержания исследования. В этой статье мы познакомимся с другим решением проблемы, позволяющим избавиться от этого предположения.

Политические и внеполитические методы

Прежде чем мы рассмотрим, как мы можем избавиться от предположения о начале изучения, мы должны сначала понять разницу между методами в соответствии с политикой и методами вне политики.

Методы политики

  • Оцените и улучшите политику, которая та же самая политика, которая используется для создания данных.
  • Обычно проще

Неполитические методы

  • Оцените и улучшите политику, отличную от той, которая используется для создания данных.
  • Требовать дополнительных обозначений
  • Большая дисперсия и более медленная сходимость
  • Более мощный и более общий

Эпсилон Жадный

Позже мы углубимся в методы вне политики, а пока поймите, что предыдущий алгоритм, который мы определили для управления — MC Control with Exploring Starts — является методом в соответствии с политикой.

Мы можем отказаться от предположения о начале изучения и остаться в политике, изменив нашу политику на эпсилон-жадную.

  • Напомним, что эпсилон-жадная политика — это политика, которая эксплуатирует (выбирает детерминированное действие) с вероятностью 1 — ε и исследует (выбирает случайное действие) с вероятностью ε.
  • Это решает проблему поддержки исследования, поскольку гарантирует, что все пары состояние-действие имеют ненулевую вероятность посещения.

Ниже приведен псевдокод алгоритма Контроль MC при первом посещении согласно политике.

  • В последних нескольких строках просто говорится о выборе действия на основе эпсилон-жадной политики.

Выполнение

Ниже приведена реализация управления MC на Python с эпсилон-жадной политикой и без изучения стартов для простого мира сетки 4x4, определенного в предыдущей главе. Реализации вспомогательных функций можно найти на GitHub.

При запуске в сетке 4x4 со значением эпсилон 0,1 на протяжении 100 000 эпизодов генерируется следующая политика. В отличие от версии с запуском исследования, он изучает оптимальную политику:

В этой статье мы узнали о разнице между методами политики и вне политики, а также о том, как мы можем отказаться от предположения о начале изучения, оставаясь при этом политикой, используя эпсилон-жадную политику. В следующей статье мы рассмотрим неполитические решения.



Обучение с подкреплением, глава 5 — Методы Монте-Карло (часть 4: вне политики с помощью выборки по важности)
В предыдущей статье мы узнали о разнице между политикой и вне политики -политические методы. В этой статье мы…medium.com