- Контрастное согласованное обучение с использованием памяти для обнаружения совпадающих объектов (arXiv)
Автор: Пэн Чжэн, Цзе Цинь, Шо Ван, Тянь-Чжу Сян, Хуан Сюн.
Аннотация: Обнаружение совпадающих объектов (CoSOD) направлено на обнаружение общих существенных объектов в группе соответствующих исходных изображений. Большинство последних работ используют механизм внимания для поиска общих объектов. Чтобы получить точные результаты CoSOD с высококачественными картами и высокой эффективностью, мы предлагаем новую структуру Contrastive Consensus Learning с использованием памяти (MCCL), которая способна эффективно обнаруживать два важных объекта в режиме реального времени (~ 110 кадров в секунду). Чтобы лучше изучить групповой консенсус, мы предлагаем модуль агрегирования группового консенсуса (GCAM), чтобы абстрагироваться от общих черт каждой группы изображений; тем временем, чтобы сделать представление консенсуса более различительным, мы вводим контрастный модуль на основе памяти (MCM), который сохраняет и обновляет консенсус изображений из разных групп в очереди воспоминаний. Наконец, чтобы улучшить качество и целостность предсказанных карт, мы разрабатываем стратегию Adversarial Integrity Learning (AIL), чтобы сделать сегментированные области более вероятными, состоящими из полных объектов с меньшим окружающим шумом. Обширные эксперименты со всеми последними тестами CoSOD показывают, что наша облегченная MCCL превосходит 13 передовых моделей, достигая нового уровня техники (улучшение S-показателя на ~5,9% и ~6,2% на CoSOD3k и CoSal2015 соответственно). Наши исходные коды, карты заметности и онлайн-демонстрации общедоступны по адресу https://github.com/ZhengPeng7/MCCL.
2. Эффективный конвейер обрезки и вставки для обнаружения нескольких объектов (arXiv)
Автор: Шаобо Линь, Кунь Ван, Синъю Цзэн, Руй Чжао.
Аннотация: Обнаружение объектов с несколькими выстрелами (FSOD) направлено на расширение детектора объектов для новых категорий, учитывая только несколько экземпляров для обучения. Однако обнаружение новых категорий с помощью всего лишь нескольких образцов обычно приводит к проблеме неправильной классификации. В FSOD мы замечаем, что ложное срабатывание (FP) новых категорий заметно, в котором базовые категории часто распознаются как новые. Для решения этой проблемы предлагается новый конвейер увеличения данных, который обрезает новые экземпляры и вставляет их в выбранные базовые изображения, называемый CNPB. Необходимо ответить на два ключевых вопроса: (1) Как выбрать полезные базовые изображения? и (2) Как объединить новые и базовые данные? Мы разрабатываем многоступенчатую стратегию отбора для поиска полезных базовых данных. В частности, мы сначала обнаруживаем базовые изображения, которые содержат ФП новых категорий, и отбираем из них определенное количество образцов для баланса базовых и новых категорий. Затем с помощью CLIP удаляются плохие случаи, такие как базовые изображения с непомеченными исходными данными или легко запутанные базовые экземпляры. Наконец, применяется та же стратегия категорий, в которой новый экземпляр с категорией n вставляется в базовое изображение с FP, равным n. Во время объединения новый экземпляр обрезается и случайным образом уменьшается в размере и, таким образом, вставляется в назначенное оптимальное место из случайно сгенерированных кандидатов в выбранном базовом изображении. Наш метод прост, но эффективен, и его можно легко подключить к существующим методам FSOD, демонстрируя значительный потенциал для использования. Обширные эксперименты с PASCAL VOC и MS COCO подтверждают эффективность нашего метода.
