Давайте начнем с рассмотрения примера. Предположим, мы обучаем классификатор на наборе данных изображений кошек и собак и обнаруживаем, что он достаточно хорош, чтобы различать кошку и собаку с точностью 92%. Теперь рассмотрим реальные изображения, и мы хотим предсказать, кошка это или собака, используя этот классификатор. Мы видим, что не все изображения, с которыми мы сталкиваемся, относятся к кошкам и собакам, некоторые из них могут быть также лошадьми или коровами. Но когда мы будем использовать эти изображения в классификаторе, он будет предсказывать образ лошади только как кошку или собаку. Не скажешь, что это ни собака, ни кошка.
Эти проблемы очень распространены, и мы обязательно столкнемся с ними в ближайшем будущем.
Итак, каково решение этих проблем? Классификация открытого мира.
Проще говоря, Классификация открытого мира — это когда классификатор не только классифицирует примеры, которые он видел, то есть примеры, которые были в наборе обучающих данных, но также имеет возможность отклонять невидимые примеры, как в приведенном выше случае, отклоняя пример лошади. .
Обнаружение скрытых классов отклоненных данных сложно без предварительных знаний. Однако у нас есть данные из просмотренных классов, которые могут сказать нам, какое сходство/различие ожидается для примеров из одного или разных классов. Разумно предположить, что эти знания можно перенести на отбракованные образцы и использовать для обнаружения в них скрытых невидимых классов.
Итак, наша главная цель — построить модель, которая может классифицировать каждый пример как видимый класс или отклонить его как невидимый. Чтобы решить эту проблему, мы сначала предлагаем модель, которая представляет собой нейронную сеть: сеть открытой классификации (OCN) для классификации видимых классов и отклонения невидимых классов.
Сеть открытой классификации (OCN)
Мы будем использовать последний алгоритм DOC для нашей сети OCN. Хотя он был разработан для открытой классификации текста, он также хорошо работает с изображениями и значительно лучше, чем последний метод OpenMAX для открытой классификации изображений. OCN содержит обучающую часть представления CNN, совместно используемую с другими сетями, за которой следуют полносвязный уровень и уровень сигмовидных функций 1-против-остального. Он не использует обычный softmax в качестве выходного слоя, поскольку функция softmax не имеет возможности отклонения, учитывая ее нормализованное распределение вероятностей в видимых классах, и, следовательно, больше подходит для классификации замкнутого мира.
Слой 1-по-остальному, естественно, может отклонять невидимые примеры классов, потому что, если тестовый пример не может быть отнесен к какому-либо существующему/просматриваемому классу на основе порога вероятности 0,5, его следует отклонить. Однако DOC не использует 0,5 в качестве порога для каждого видимого класса. Он использует гораздо больший порог вероятности, вычисленный на основе идеи обнаружения выбросов в контексте распределения Гаусса.
Требуется обучение в открытом мире, которое может не только классифицировать примеры из видимых классов, но и отвергать примеры из невидимых классов. Что также важно, так это идентифицировать скрытые невидимые классы из примеров отклонения, что позволит системе автоматически изучать эти новые классы, а не требовать маркировки вручную.
использованная литература
[1] НЕВИДИМОЕ ОТКРЫТИЕ КЛАССА В КЛАССИФИКАЦИИ ОТКРЫТОГО МИРА Лэй Шу, Ху Сюй, Бинг Лю Факультет компьютерных наук Иллинойского университета в Чикаго {lshu3, hxu48, liub}@uic.ed
