Основы Vision Transformers
- Swinv2-Imagen: диффузионные модели Hierarchical Vision Transformer для преобразования текста в изображение(arXiv)
Автор:Жуйцзюнь Ли, Вэйхуа Ли, И Ян, Ханьюй Вэй, Цзяньхуа Цзян, Цюань Бай.
Аннотация: В последнее время в ряде исследований было доказано, что модели диффузии замечательно работают в задачах синтеза текста в изображение, что сразу же открывает новые возможности для изучения генерации изображений. Imagen от Google следует этой исследовательской тенденции и превосходит DALLE2 как лучшую модель для преобразования текста в изображение. Однако Imagen просто использует языковую модель T5 для обработки текста, которая не может гарантировать изучение семантической информации текста. Кроме того, Efficient UNet, используемый Imagen, — не лучший выбор для обработки изображений. Для решения этих проблем мы предлагаем Swinv2-Imagen, новую модель диффузии текста в изображение, основанную на иерархическом визуальном преобразователе и графе сцены, включающем семантический макет. В предлагаемой модели векторы признаков сущностей и отношений извлекаются и включаются в модель распространения, эффективно улучшая качество сгенерированных изображений. Кроме того, мы также представляем архитектуру UNet на основе Swin-Transformer, называемую Swinv2-Unet, которая может решать проблемы, связанные с операциями свертки CNN. Проводятся обширные эксперименты для оценки производительности предложенной модели с использованием трех реальных наборов данных, то есть MSCOCO, CUB и MM-CelebA-HQ. Экспериментальные результаты показывают, что предложенная модель Swinv2-Imagen превосходит несколько популярных современных методов.
2. oViT: точная схема обрезки второго порядка для трансформеров зрения(arXiv)
Автор :Денис Кузнеделев, Эльдар Куртич, Элиас Франтарь, Дан Алистарх
Выдержка. Модели семейства Vision Transformer (ViT) недавно продемонстрировали прорывные результаты в задачах классификации изображений, таких как ImageNet. Тем не менее, они по-прежнему сталкиваются с препятствиями для развертывания, в частности, с тем фактом, что на их точность могут серьезно повлиять такие методы сжатия, как обрезка. В этой статье мы делаем шаг к решению этой проблемы, представляя Optimal ViT Surgeon (oViT), новый современный метод разрежения веса моделей Vision Transformers (ViT). На техническом уровне oViT представляет новый алгоритм сокращения веса, который использует информацию второго порядка, специально адаптированную для обеспечения высокой точности и эффективности в контексте ViT. Мы дополнили этот точный одноразовый инструмент для тщательного исследования графиков постепенного сокращения, увеличения и восстановления для ViT, которые, как мы показываем, имеют решающее значение для успешного сжатия ViT. Мы подтверждаем наш метод обширными экспериментами с классическими моделями ViT и DeiT, а также с более новыми вариантами, такими как XCiT, EfficientFormer и Swin. Более того, наши результаты актуальны даже для недавно предложенных высокоточных сетей ResNet. Наши результаты впервые показывают, что модели семейства ViT на самом деле могут быть сокращены до высоких уровней разреженности (например, ≥75%) с небольшим влиянием на точность (относительное падение ≤1%), и что наш подход превосходит предыдущие методы со значительным отрывом. при высокой разреженности. Кроме того, мы показываем, что наш метод совместим с методами структурного сокращения и квантования и что он может привести к значительному ускорению работы механизма логического вывода с учетом разреженности.
3. Трансформеры зрения, по-видимому, изучают пространственную структуру(arXiv)
Автор: Сами Джеласси, Майкл Э. Сандер, Юанжи Ли
Вывод: Преобразователи зрения (ViT) достигли сравнимой или даже более высокой производительности, чем сверточные нейронные сети (CNN) в компьютерном зрении. Этот эмпирический прорыв еще более замечателен, поскольку, в отличие от CNN, ViT не встраивают никакого визуального индуктивного смещения пространственной местности. Тем не менее, недавние работы показали, что, минимизируя потери при обучении, ViT специфически изучают пространственно локализованные паттерны. Это поднимает центральный вопрос: как ViTs изучают эти паттерны, исключительно минимизируя свои потери при обучении, используя методы на основе градиента из случайной инициализации? В данной статье мы приводим некоторое теоретическое обоснование этого явления. Мы предлагаем пространственно структурированный набор данных и упрощенную модель ViT. В этой модели матрица внимания зависит исключительно от позиционного кодирования. Мы называем этот механизм механизмом позиционного внимания. С теоретической точки зрения мы рассматриваем задачу бинарной классификации и показываем, что, хотя проблема обучения допускает несколько решений, которые обобщают, наша модель неявно изучает пространственную структуру набора данных при обобщении: мы называем это явление ассоциацией участков. Мы доказываем, что ассоциация патчей помогает эффективно передавать выборки в последующие наборы данных, которые имеют ту же структуру, что и наборы перед обучением, но отличаются функциями. Наконец, мы эмпирически проверяем, что ViT с позиционным вниманием работает так же, как исходный на CIFAR-10/100, SVHN и ImageNet.
