Przejdź do treści
Wróć do wyników wyszukiwania

Vision Transformer

Autor metody
Dosovitskiy, A. et al.
Rok
2021
Typ
Transformer architecture for images (self-attention over patches)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Sieć Vision Transformer (ViT), wprowadzona przez Dosovitskiy i współpracowników w 2021 roku, dzieli obraz na łaty o stałym rozmiarze, traktuje te łaty jako sekwencję i stosuje mechanizm uwagi własnej (self-attention) z architektury Transformer do klasyfikacji obrazów.

Przy wystarczającej ilości danych treningowych przewyższa konwolucyjne sieci neuronowe (CNN).

Intuicja stojąca za metodą

Sieci konwolucyjne przetwarzają obraz za pomocą małych, lokalnych filtrów, które przesuwają się po nim. ViT przyjmuje inne podejście: kroi obraz na siatkę równych łat, układa je jak słowa w zdaniu i pozwala mechanizmowi uwagi decydować, które łaty powinny zwracać uwagę na które inne. Ponieważ uwaga może bezpośrednio powiązać dowolną łatę z dowolną inną, model uczy się globalnych zależności w całym obrazie, a nie tylko w lokalnych sąsiedztwach.

Historia

Sieć Vision Transformer została wprowadzona przez Dosovitskiy i współpracowników w 2021 roku (w pracy „An Image is Worth 16x16 Words”), pokazując, że architektura uwagi własnej Transformera, już dominująca w przetwarzaniu języka, może być bezpośrednio zastosowana do łat obrazowych i przewyższać CNN przy trenowaniu na dużą skalę. Dalsze prace Touvron i współpracowników nad efektywnymi pod względem danych transformerami obrazowymi zajęły się zapotrzebowaniem ViT na dane, czyniąc podejście bardziej praktycznym przy mniejszych budżetach treningowych.

Kiedy stosować

Używaj ViT do klasyfikacji obrazów lub predykcji na ciągłych (pikselowych) danych obrazowych, gdy dysponujesz dużym zbiorem danych – rzędu 1000 obrazów lub więcej, a najlepiej znacznie więcej – oraz dostępem do GPU. Najlepiej działa z dużym korpusem do wstępnego trenowania lub z uczeniem transferowym z wstępnie wytrenowanego modelu. Na małych zbiorach danych obrazowych (poniżej kilkuset obrazów) ViT nie jest w stanie wiarygodnie nauczyć się mechanizmu uwagi opartego na łatach, a bezpieczniejszym wyborem jest CNN lub klasyczna metoda uczenia maszynowego, taka jak Random Forest lub SVM.

Ograniczenia i uwagi

  • Wymaga dużego zbioru treningowego (około 1000 obrazów lub więcej); na małych danych jego wydajność jest niższa niż CNN.
  • Wymagany jest GPU, a trenowanie od zera jest bardzo wymagające pod względem danych i mocy obliczeniowej.
  • Na bardzo małych zbiorach danych (poniżej kilkuset obrazów) uwaga oparta na łatach nie uczy się wiarygodnie.
  • Dobre wyniki zazwyczaj zależą od dużego korpusu do wstępnego trenowania lub uczenia transferowego, a nie od trenowania od zera.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Przewyższa CNN na dużych zbiorach danych obrazowych, modelując globalne zależności za pomocą uwagi własnej.
  • Traktuje obraz jako sekwencję łat, stosując sprawdzoną architekturę Transformera do przetwarzania obrazów.
  • Wychwytuje dalekosiężne zależności w całym obrazie, a nie tylko w lokalnych sąsiedztwach.
  • Czerpie znaczące korzyści z wielkoskalowego wstępnego trenowania i uczenia transferowego z wstępnie wytrenowanych punktów kontrolnych.
  • Nie zakłada normalnego rozkładu danych.

Zastosowania

  • Klasyfikacja obrazów na dużych zbiorach danych obrazowych.
  • Zadania predykcyjne na ciągłych danych pikselowych, gdzie ważne są zależności globalne.
  • Uczenie transferowe z dużych, wstępnie wytrenowanych modeli obrazów do nowych zadań wizyjnych.
  • Scenariusze, w których modelowanie dalekosiężnych zależności w całym obrazie przewyższa lokalne filtry konwolucyjne.

Jak to działa

Jak to działa

1

Obraz jest dzielony na łaty o stałym rozmiarze (na przykład 16x16 pikseli). Każda łata jest spłaszczana i liniowo rzutowana na wektor osadzenia (embedding), a uzyskane osadzenia tworzą sekwencję – analogiczną do sekwencji tokenów słów w obrazie.

2

Sekwencja łat jest przepuszczana przez warstwy Transformera zbudowane na mechanizmie uwagi własnej. Każda łata może zwracać uwagę na każdą inną łatę, dzięki czemu model wychwytuje dalekosiężne, globalne zależności w całym obrazie, a nie tylko w lokalnych sąsiedztwach, co jest kluczowym mechanizmem pozwalającym ViT przewyższać CNN na dużych zbiorach danych.

Wzór
\text{Attention}(Q,K,V) = \text{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
3

Głowa klasyfikacyjna odczytuje zagregowaną reprezentację wygenerowaną przez warstwy Transformera i zwraca przewidywaną klasę. Ponieważ duże wstępne trenowanie ma tu ogromne znaczenie, uczenie transferowe z modelu wstępnie wytrenowanego na dużym korpusie obrazów jest zazwyczaj drogą do uzyskania wysokiej wydajności.

Częste pułapki

  • Trenowanie ViT od zera na małym zbiorze danych zamiast dostrajania wstępnie wytrenowanego punktu kontrolnego.
  • Oczekiwanie dokładności na poziomie CNN bez dużego zbioru danych, którego potrzebuje ViT.
  • Próba trenowania bez GPU.
  • Ignorowanie progów awaryjności – poniżej kilkuset obrazów preferuj CNN lub klasyczną metodę.
  • Przeoczenie uczenia transferowego, gdy dostępne są wstępnie wytrenowane modele obrazów.

Najczęściej zadawane pytania

Czym ViT różni się od CNN?

CNN przetwarza obraz za pomocą lokalnych filtrów konwolucyjnych, podczas gdy ViT dzieli obraz na łaty o stałym rozmiarze, traktuje je jako sekwencję i wykorzystuje uwagę własną, dzięki czemu każda łata może odnosić się do każdej innej. Pozwala to ViT modelować zależności globalne i, na dużych zbiorach danych, przewyższać CNN.

Ile danych potrzebuje ViT?

ViT jest wymagający pod względem danych: najlepiej działa z około 1000 obrazów lub więcej i dużym korpusem do wstępnego trenowania. Poniżej kilkuset obrazów jego uwaga oparta na łatach nie uczy się wiarygodnie, a preferowana jest sieć CNN lub klasyczna metoda.

Czy potrzebuję GPU?

Tak. ViT wymaga GPU, a jego trenowanie jest intensywne pod względem danych i mocy obliczeniowej. Użycie wstępnie wytrenowanego punktu kontrolnego z uczeniem transferowym znacznie zmniejsza obciążenie.

Co jeśli mój zbiór danych obrazowych jest mały?

Na małych zbiorach danych wydajność ViT jest niższa. Poniżej około 500 obrazów rozważ metodę taką jak Random Forest, a poniżej kilkuset bezpieczniejszym wyborem jest CNN lub SVM, albo polegaj na uczeniu transferowym z wstępnie wytrenowanego modelu.

Pokrewne metody

Źródła

  1. Dosovitskiy, A. et al. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. ICLR.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Touvron, H. et al. (2021). Training Data-Efficient Image Transformers. ICML.

    Otwórz odnośnik do publikacji
    Skopiowano.