- Непрерывное машинное обучение функционально композиционных структур(arXiv)
Автор: Хорхе А. Мендес
Аннотация. Отличительной чертой человеческого интеллекта является способность создавать автономные фрагменты знаний и повторно использовать их в новых комбинациях для решения различных задач. Изучение таких композиционных структур было проблемой для искусственных систем из-за лежащего в их основе комбинаторного поиска. На сегодняшний день исследования композиционного обучения в значительной степени проводились отдельно от работы по непрерывному или непрерывному обучению. Эта диссертация объединила эти два направления работы, чтобы представить универсальную основу для непрерывного обучения функционально-композиционным структурам. Структура разделяет обучение на два этапа: изучение того, как комбинировать существующие компоненты для решения новой проблемы, и обучение тому, как адаптировать существующие компоненты для решения новой проблемы. Это разделение явно обеспечивает компромисс между стабильностью и гибкостью. Эта диссертация превратила структуру в различные алгоритмы обучения с учителем и обучения с подкреплением (RL). Оценки контролируемого обучения показали, что 1) композиционные модели улучшают обучение разнообразным задачам на протяжении всей жизни, 2) многоэтапный процесс позволяет изучать композиционные знания на протяжении всей жизни и 3) компоненты, изученные с помощью структуры, представляют собой автономные и повторно используемые функции. Аналогичные оценки RL показали, что 1) алгоритмы в рамках этой структуры ускоряют обнаружение высокопроизводительных политик и 2) эти алгоритмы сохраняют или улучшают производительность ранее изученных задач. Диссертация распространила один пожизненный композиционный алгоритм RL на нестационарные условия, где распределение задач меняется со временем, и обнаружила, что модульность позволяет индивидуально отслеживать изменения различных элементов в среде. Последним вкладом этой диссертации стал новый ориентир для композиционного RL, который показал, что существующие методы изо всех сил пытаются обнаружить композиционные свойства окружающей среды.
2. Математическая модель объединяет разрозненные временные рамки обучения на протяжении всей жизни(arXiv)
Автор: Минчжэнь Лу, Тайлер Маргетис, Вики Чуцяо Ян
Вывод:обучение на протяжении всей жизни происходит во временных масштабах от минут до десятилетий. Люди могут погрузиться в новый навык, тренируясь часами, пока не устанут. И они могут добиваться мастерства в течение нескольких дней или десятилетий, возможно, полностью отказываясь от старых навыков, чтобы искать новые вызовы. Для полного понимания обучения требуется учетная запись, которая объединяет эти временные рамки. Здесь мы представляем минимальную количественную модель, которая объединяет вложенные шкалы времени обучения. Наша динамическая модель восстанавливает классические подходы к приобретению навыков и описывает, как обучение возникает из текущей динамики мотивации, усталости и работы, а также находится в более долгосрочной динамике выбора навыков, мастерства и отказа от них. Мы применяем эту модель, чтобы изучить преимущества и недостатки различных режимов тренировок и охарактеризовать индивидуальные различия в мотивации и развитии навыков. Наша модель объединяет ранее несопоставимые временные шкалы — и субдисциплины, которые обычно изучают каждую временную шкалу изолированно, — чтобы предложить унифицированный учет времени приобретения навыков.
3. Постоянная оценка для обучения на протяжении всей жизни: выявление пробелов в стабильности(arXiv)
Автор: Маттиас Де Ланге, Гидо ван де Вен, Тинне Туйтелаарс
Аннотация: введение временной зависимости в распределение генерации данных оказалось трудным для обучения нейронных сетей на основе градиента, поскольку жадные обновления приводят к катастрофическому забыванию предыдущих временных шагов. Непрерывное обучение направлено на преодоление жадной оптимизации, чтобы обеспечить непрерывное накопление знаний с течением времени. Поток данных обычно делится на локально стационарные распределения, называемые задачами, что позволяет проводить оценку на основе задач на основе данных, полученных из обучающих задач. Современные протоколы оценки и показатели непрерывного обучения основаны на задачах и количественно определяют компромисс между стабильностью и пластичностью только при смене задач. Однако наши эмпирические данные свидетельствуют о том, что между значительными переходами между задачами может происходить временное забывание, остающееся неидентифицированным при оценке на основе задач. Поэтому мы предлагаем структуру для непрерывной оценки, которая устанавливает оценку для каждой итерации и определяет новый набор показателей, который позволяет определить наихудшую производительность учащегося за всю его жизнь. Выполняя непрерывную оценку, мы эмпирически определяем, что воспроизведение страдает от пробела в стабильности: при изучении новой задачи наблюдается существенное, но временное снижение производительности при выполнении предыдущих задач. Дальнейший концептуальный и эмпирический анализ показывает, что не только основанные на воспроизведении, но и методы непрерывного обучения, основанные на регуляризации, подвержены разрыву в стабильности.
