Vision Transformer
- Автор метода
- Dosovitskiy, A. et al.
- Год
- 2021
- Тип
- Transformer architecture for images (self-attention over patches)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Vision Transformer (ViT), представленный Dosovitskiy и его коллегами в 2021 году, разбивает изображение на патчи фиксированного размера, рассматривает эти патчи как последовательность и применяет механизм самовнимания Transformer для классификации изображений.
При достаточном объеме обучающих данных он превосходит сверточные нейронные сети (CNN).
Интуиция метода
Сверточные сети обрабатывают изображение с помощью небольших локальных фильтров, которые скользят по нему. ViT использует другой подход: он разбивает изображение на сетку патчей одинакового размера, выстраивает их в ряд, как слова в предложении, и позволяет механизму Transformer решать, каким патчам следует уделять внимание каким. Поскольку механизм внимания может напрямую связывать любой патч с любым другим, модель изучает глобальные взаимосвязи во всем изображении, а не только в локальных окрестностях.
История
Vision Transformer был представлен Dosovitskiy и его коллегами в 2021 году (An Image is Worth 16x16 Words), показав, что архитектура самовнимания Transformer, уже доминирующая в обработке естественного языка, может быть напрямую применена к патчам изображений и превзойти CNN при обучении в большом масштабе. Последующая работа Touvron и его коллег по эффективным в плане данных трансформерам изображений решила проблему потребности ViT в данных, сделав подход более практичным при меньших бюджетах на обучение.
Когда применять
Используйте ViT для классификации изображений или прогнозирования на непрерывных (пиксельных) данных изображений, когда у вас есть большой набор данных — порядка 1000 или более изображений, а в идеале гораздо больше — и доступ к GPU. Он лучше всего работает с большим корпусом для предварительного обучения или с трансферным обучением от предварительно обученной модели. На небольших наборах данных изображений (менее нескольких сотен изображений) ViT не может надежно обучить свое внимание на основе патчей, и CNN или классический метод машинного обучения, такой как Random Forest или SVM, является более безопасным выбором.
Ограничения и замечания
- Требует большого обучающего набора данных (около 1000 изображений или более); на малых данных показывает худшие результаты по сравнению с CNN.
- Требуется GPU, а обучение с нуля требует много данных и вычислительных ресурсов.
- На очень маленьких наборах данных (менее нескольких сотен изображений) внимание на основе патчей не может быть надежно обучено.
- Высокие результаты обычно зависят от большого корпуса для предварительного обучения или трансферного обучения, а не от обучения с нуля.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Превосходит CNN на больших наборах данных изображений, моделируя глобальные взаимосвязи посредством самовнимания.
- Рассматривает изображение как последовательность патчей, применяя проверенную архитектуру Transformer к задачам компьютерного зрения.
- Улавливает дальние зависимости по всему изображению, а не только в локальных окрестностях.
- Сильно выигрывает от крупномасштабного предварительного обучения и трансферного обучения на предварительно обученных чекпоинтах.
- Не предполагает нормально распределенных данных.
Применение
- Классификация изображений на больших наборах данных изображений.
- Задачи прогнозирования на непрерывных пиксельных данных, где важны глобальные взаимосвязи.
- Трансферное обучение с использованием больших предварительно обученных моделей для компьютерного зрения для новых задач в области зрения.
- Сценарии, где моделирование дальних зависимостей по всему изображению превосходит локальные сверточные фильтры.
Как это работает
Как это работает
Изображение делится на патчи фиксированного размера (например, 16x16 пикселей). Каждый патч разворачивается и линейно проецируется в вектор вложения (embedding), а полученные вложения формируют последовательность — аналог последовательности токенов слов для изображения.
Последовательность патчей подается через слои Transformer, построенные на механизме самовнимания. Каждый патч может обращать внимание на каждый другой патч, поэтому модель улавливает дальние, глобальные зависимости по всему изображению, а не только локальные окрестности, что является основным механизмом, позволяющим ViT превосходить CNN на больших наборах данных.
Формула
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)VКлассификационная головка считывает агрегированное представление, полученное слоями Transformer, и выдает предсказанный класс. Поскольку крупномасштабное предварительное обучение здесь имеет решающее значение, для достижения высокой производительности обычно используется трансферное обучение (transfer learning) с использованием модели, предварительно обученной на большом корпусе изображений.
Частые ошибки
- Обучение ViT с нуля на небольшом наборе данных вместо дообучения (fine-tuning) предварительно обученного чекпоинта.
- Ожидание точности уровня CNN без большого набора данных, необходимого ViT.
- Попытка обучения без GPU.
- Игнорирование порогов отказа — менее чем на нескольких сотнях изображений предпочтителен CNN или классический метод.
- Пренебрежение трансферным обучением при наличии предварительно обученных моделей для компьютерного зрения.
Часто задаваемые вопросы
Чем ViT отличается от CNN?
CNN обрабатывает изображение с помощью локальных сверточных фильтров, в то время как ViT разбивает изображение на патчи фиксированного размера, рассматривает их как последовательность и использует самовнимание, чтобы любой патч мог относиться к любому другому. Это позволяет ViT моделировать глобальные взаимосвязи и, на больших наборах данных, превосходить CNN.
Сколько данных нужно ViT?
ViT требует много данных: он лучше всего работает примерно с 1000 или более изображениями и большим корпусом для предварительного обучения. Менее чем на нескольких сотнях изображений его внимание на основе патчей не может быть надежно обучено, и предпочтительнее использовать CNN или классический метод.
Нужен ли мне GPU?
Да. ViT требует GPU, а его обучение интенсивно с точки зрения данных и вычислений. Использование предварительно обученного чекпоинта с трансферным обучением значительно снижает нагрузку.
Что делать, если мой набор данных изображений мал?
На малых наборах данных ViT показывает худшие результаты. Менее чем примерно на 500 изображениях рассмотрите такой метод, как Random Forest, а менее чем на нескольких сотнях изображений CNN или SVM является более безопасным выбором, или полагайтесь на трансферное обучение от предварительно обученной модели.
Похожие методы
Источники
Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.
Открыть ссылку на публикациюСкопировано.Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.
Открыть ссылку на публикациюСкопировано.