Wizualne uczenie kontrastowe
- Autor metody
- Chen, T. et al. (SimCLR); He, K. et al. (MoCo)
- Rok
- 2020
- Typ
- Self-supervised deep representation learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Wizualne uczenie kontrastowe jest podejściem uczenia głębokiego z samo-nadzorem — spopularyzowanym przez takie frameworki jak SimCLR (Chen i in., 2020) i MoCo (He i in., 2020) — które uczy bogatych reprezentacji obrazów bez etykiet, poprzez przyciąganie do siebie różnych augmentacji tego samego obrazu i odpychanie od siebie różnych obrazów.
Zamienia duży zbiór nieetykietowanych obrazów w użyteczny ekstraktor cech.
Intuicja stojąca za metodą
Jeśli przytniesz, zmienisz kolor lub odwrócisz pojedyncze zdjęcie na dwa różne sposoby, obie wersje powinny nadal być rozpoznawalnie tym samym obiektem. Uczenie kontrastowe opiera się dokładnie na tej idei: uczy sieć mapowania dwóch augmentowanych widoków jednego obrazu blisko siebie w przestrzeni cech, jednocześnie utrzymując widoki innych obrazów daleko od siebie. Nie są potrzebne żadne ludzkie etykiety — nadzór pochodzi w całości z porównywania obrazów ze sobą.
Historia
Wizualne uczenie kontrastowe szybko dojrzało w 2020 roku. SimCLR (Chen i in., ICML 2020) pokazał, że prosty framework silnych augmentacji, głowicy projekcyjnej i funkcji straty kontrastowej NT-Xent mógł konkurować z nadzorowanym pretreningiem. MoCo (He i in., CVPR 2020) wprowadził momentumowo aktualizowany enkoder z dynamiczną kolejką negatywów, co umożliwiło skalowalne uczenie kontrastowe bez masowych batchy. Późniejsze podejścia, takie jak BYOL, rozszerzyły rodzinę, ucząc się bez jawnych par negatywnych.
Kiedy stosować
Używaj go, gdy masz dużą kolekcję nieetykietowanych obrazów — rzędu co najmniej około 1000 obrazów — i chcesz nauczyć się silnych reprezentacji wizualnych przed jakimkolwiek etykietowanym zadaniem. Zakłada dostępność takiego nieetykietowanego zbioru danych, wymaga GPU i mocno zależy od dobrze dobranej strategii augmentacji danych. Poniżej około 500–1000 obrazów pary negatywne są zbyt nieliczne i zbyt podobne, aby nauczyć się użytecznych reprezentacji, a nadzorowane klasyczne uczenie maszynowe jest bezpieczniejszym wyborem.
Ograniczenia i uwagi
- Wymaga dużego zbioru danych nieetykietowanych obrazów; na małych zbiorach nie może wyprodukować znaczących reprezentacji.
- Wymaga GPU i znacznych zasobów obliczeniowych do pretreningu.
- Wydajność zależy od strategii augmentacji danych, którą należy dostosować do domeny.
- Poniżej około 500 obrazów uczenie samo-nadzorowane zawodzi, a nadzorowane klasyczne uczenie maszynowe jest preferowane.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Uczy użytecznych reprezentacji wizualnych z nieetykietowanych obrazów, eliminując potrzebę kosztownych ręcznych adnotacji.
- Pretrenowany enkoder przenosi się do wielu zadań pochodnych z tylko małym zbiorem etykietowanym.
- Frameworki takie jak SimCLR i MoCo dostarczają dobrze zbadanych, powtarzalnych przepisów.
- Momentumowy enkoder i kolejka negatywów MoCo udostępniają wiele porównań negatywnych bez ogromnych batchy.
Zastosowania
- Pretrening enkoderów obrazów na dużych, nieetykietowanych kolekcjach zdjęć.
- Transfer uczenia do pochodnych zadań klasyfikacji obrazów z ograniczoną liczbą etykiet.
- Budowanie reużywalnych wizualnych ekstraktorów cech dla potoków wizyjnych.
- Uczenie reprezentacji w domenach, gdzie etykiety są rzadkie lub kosztowne.
Jak to działa
Jak to działa
Każdy obraz jest transformowany dwukrotnie za pomocą losowych augmentacji, takich jak przycinanie, jitter koloru i odwracanie, tworząc dwa powiązane widoki. Wybór strategii augmentacji jest kluczowy: definiuje ona, co model ma traktować jako 'to samo', a słabe lub źle dobrane augmentacje prowadzą do słabych reprezentacji.
Enkoder mapuje każdy widok do osadzenia (embedding), a cel kontrastowy przyciąga dwa widoki tego samego obrazu (parę pozytywną) blisko siebie, jednocześnie odpychając widoki innych obrazów (negatywy). SimCLR używa funkcji straty NT-Xent z parametrem temperatury; MoCo utrzymuje enkoder aktualizowany momentum i kolejkę negatywów, dzięki czemu dostępne jest wiele porównań bez ogromnych batchy.
Wzór
\mathcal{L} = -\log \frac{\exp(\text{sim}(z_i, z_j)/\tau)}{\sum_{k \neq i} \exp(\text{sim}(z_i, z_k)/\tau)}Po samo-nadzorowanym pretreningu, nauczony enkoder jest ponownie wykorzystywany jako ogólny wizualny ekstraktor cech. Niewielki zbiór etykietowany wystarcza następnie do dostrojenia lub wytrenowania lekkiego klasyfikatora na wierzchu, przenosząc reprezentację do zadań pochodnych.
Częste pułapki
- Próba pretreningu kontrastowego na maleńkim zbiorze obrazów, gdzie różnorodność par negatywnych jest niewystarczająca.
- Używanie słabych lub nieodpowiednich dla domeny augmentacji, które powodują kolaps nauczonej reprezentacji.
- Ignorowanie parametru temperatury w funkcji straty kontrastowej.
- Oczekiwanie dobrych wyników bez GPU lub odpowiedniego czasu treningu.
Najczęściej zadawane pytania
Czy potrzebuję etykiet?
Nie. Cały sens kontrastowego uczenia samo-nadzorowanego polega na uczeniu reprezentacji z nieetykietowanych obrazów. Etykiety są potrzebne dopiero później, do niewielkiego zbioru do dostrojenia lub ewaluacji w zadaniu pochodnym.
Ile obrazów potrzebuję?
Zaplanuj co najmniej około 1000 nieetykietowanych obrazów. Poniżej około 500–1000, różnorodność par negatywnych jest zbyt niska, aby metoda mogła nauczyć się znaczących reprezentacji, a nadzorowane klasyczne uczenie maszynowe jest bezpieczniejszym wyborem.
Jaka jest różnica między SimCLR a MoCo?
SimCLR opiera się na dużych batchach, aby dostarczyć wiele negatywów i używa funkcji straty NT-Xent. MoCo zamiast tego utrzymuje momentumowo aktualizowany enkoder i kolejkę poprzednich osadzeń jako negatywy, więc potrzebuje mniej porównań wewnątrz batcha.
Dlaczego augmentacja danych jest tak ważna?
Augmentacja definiuje, które transformowane widoki obrazu model musi traktować jako takie same. Silna, dobrze dobrana strategia augmentacji jest kluczowa; słabe augmentacje dają słabe reprezentacje.
Pokrewne metody
Źródła
Chen, T., Kornblith, S., Norouzi, M. & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. ICML.
Otwórz odnośnik do publikacjiSkopiowano.He, K., Fan, H., Wu, Y., Xie, S. & Girshick, R. (2020). Momentum Contrast for Unsupervised Visual Representation Learning. CVPR.
Otwórz odnośnik do publikacjiSkopiowano.