Przejdź do treści
Wróć do wyników wyszukiwania

Uczenie z niewielką liczbą przykładów

Autor metody
Lake, B. M.; Vinyals, O.; Finn, C. et al.
Rok
2011–2017
Typ
Meta-learning / low-data learning paradigm
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Uczenie z niewielką liczbą przykładów (ang. few-shot learning) to paradygmat uczenia maszynowego, który trenuje modele do rozpoznawania nowych klas lub rozwiązywania nowych zadań na podstawie zaledwie kilku oznakowanych przykładów – zazwyczaj od jednego do pięciu – poprzez wykorzystanie wcześniejszej wiedzy nabytej z dużej, powiązanej dystrybucji treningowej.

Jest to szczególnie istotne w dziedzinach, gdzie etykietowanie jest kosztowne, rzadkie lub strukturalnie ograniczone.

Intuicja stojąca za metodą

Ludzie potrafią niezawodnie zidentyfikować nowy gatunek ptaka na podstawie pojedynczej fotografii, ponieważ posiadają bogatą wiedzę wizualną zdobytą przez lata doświadczeń. Uczenie z niewielką liczbą przykładów próbuje odtworzyć tę zdolność obliczeniowo: model najpierw jest eksponowany na wiele zróżnicowanych zadań, aby nauczyć się szybko uczyć, a następnie w czasie wnioskowania adaptuje się do zupełnie nowego zadania, używając jedynie niewielkiego zbioru oznakowanych danych wspierających (ang. support set). Kluczowe jest zrozumienie, że właściwa reprezentacja i strategia adaptacji mogą zastąpić duży zbiór oznakowanych danych, którego wymaga standardowe uczenie nadzorowane.

Historia

Uczenie z niewielką liczbą przykładów zyskało formalną uwagę około 2011 roku, kiedy Lake i in. zademonstrowali uczenie z jednym przykładem na poziomie ludzkim dla ręcznie pisanych znaków przy użyciu hierarchicznego modelu indukcji programów bayesowskich. Dziedzina przyspieszyła po 2016 roku dzięki podejściom opartym na głębokim uczeniu metrycznym – sieciom dopasowującym (ang. Matching Networks) Vinyalsa i in. oraz sieciom prototypowym (ang. Prototypical Networks) Snella i in. – a następnie model-agnostic meta-learning (MAML) Finna i in. w 2017 roku, który ujednolicił paradygmat w ramach szybkiej adaptacji opartej na gradiencie. Duże, wstępnie wytrenowane modele od tego czasu uczyniły uczenie z niewielką liczbą przykładów standardową możliwością w nowoczesnych systemach NLP i wizji komputerowej.

Kiedy stosować

Używaj uczenia z niewielką liczbą przykładów, gdy oznakowane dane dla docelowego zadania są rzeczywiście rzadkie – mniej niż około 10 do 20 przykładów na klasę – ale dostępny jest duży, powiązany zbiór danych do wstępnego trenowania lub meta-trenowania. Typowe przypadki użycia obejmują klasyfikację rzadkich chorób, rozpoznawanie zagrożonych gatunków, zadania językowe o niskich zasobach i personalizowane rekomendacje dla nowych użytkowników (ang. cold-start users). Nie używaj go jako substytutu zbierania większej liczby oznakowanych danych, gdy etykietowanie jest wykonalne; przy wystarczającej liczbie etykiet, w pełni nadzorowane uczenie transferowe lub dostrajanie (ang. fine-tuning) prawie zawsze przewyższy metody uczenia z niewielką liczbą przykładów. Unikaj go również, jeśli dystrybucja meta-treningowa znacznie różni się od domeny docelowej, ponieważ unieważnia to nauczoną wiedzę a priori.

Ograniczenia i uwagi

  • Wymaga dużego, zróżnicowanego zbioru meta-treningowego; wydajność gwałtownie spada, gdy dystrybucje meta-treningowa i docelowa znacznie się rozchodzą.
  • Metody oparte na optymalizacji (np. MAML) są obliczeniowo intensywne podczas meta-treningu z powodu gradientów drugiego rzędu.
  • Dokładność na standardowych zbiorach danych (miniImageNet, Omniglot) może przeceniać rzeczywistą wydajność, jeśli domena testowa się różni.
  • Wybór odpowiedniej architektury, bazowej funkcji osadzania i strategii próbkowania epizodów wiąże się z nietrywialnymi decyzjami dotyczącymi hiperparametrów.
  • Przy ponad około 20 oznakowanych przykładach na klasę, standardowe uczenie transferowe lub dostrajanie zazwyczaj oferuje lepszą dokładność przy mniejszej złożoności.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Umożliwia praktyczne uczenie się z jednego do pięciu oznakowanych przykładów na klasę, dramatycznie redukując koszt anotacji.
  • Epizodyczny trening wyraźnie przygotowuje model do scenariusza wdrożenia z małą ilością danych, z którym będzie miał do czynienia.
  • Warianty oparte na metrykach (sieci prototypowe, sieci dopasowujące) są obliczeniowo lekkie w czasie wnioskowania – nie wymagają kroków gradientowych.
  • Szeroko stosowalne w zadaniach wizji komputerowej, przetwarzania języka naturalnego (NLP), audio i danych strukturalnych.
  • Naturalnie integruje się z dużymi, wstępnie wytrenowanymi modelami, pozwalając na wykorzystanie potężnych wiedzy a priori bez pełnego dostrajania.

Zastosowania

  • Klasyfikacja rzadkich chorób lub anomalii w obrazowaniu medycznym, gdzie oznakowane przypadki są z natury rzadkie.
  • Zadania przetwarzania języka naturalnego o niskich zasobach, takie jak wykrywanie intencji w nowych językach lub domenach.
  • Personalizacja dla nowych użytkowników (ang. cold-start) w systemach rekomendacji, gdy nowy użytkownik ma bardzo mało interakcji.
  • Rozpoznawanie zagrożonych gatunków lub subtelnych różnic między gatunkami w monitorowaniu ekologii i bioróżnorodności.
  • Przemysłowe wykrywanie defektów, gdy do treningu dostępnych jest tylko kilka wadliwych próbek.
  • Szybkie prototypowanie nowych zadań klasyfikacji w robotyce i interaktywnym uczeniu maszynowym.

Jak to działa

Jak to działa

1

Trening jest zorganizowany w epizody, z których każdy symuluje scenariusz uczenia z niewielką liczbą przykładów. W każdym epizodzie mały zestaw klas jest próbkowany z puli treningowej, a model musi nauczyć się je rozróżniać. Ten epizodyczny trening zapewnia, że wcześniejsza wiedza modelu jest ustrukturyzowana pod kątem szybkiej adaptacji, a nie zapamiętywania konkretnych klas.

2

Każdy epizod dzieli swoje przykłady na zbiór wspierający (niewielka liczba oznakowanych przykładów, z których model może korzystać) i zbiór zapytania (ang. query set) (przykłady odłożone na bok, używane do pomiaru, jak dobrze model uogólnił). Zadanie typu k-shot, n-way dostarcza k oznakowanych przykładów dla każdej z n nowych klas. Ta struktura odzwierciedla scenariusz wdrożenia w czasie treningu.

3

Model uczy się funkcji osadzania (ang. embedding function) – zazwyczaj głębokiej sieci neuronowej – która mapuje dane wejściowe do przestrzeni cech, w której przykłady tej samej klasy grupują się razem, a przykłady różnych klas są rozdzielone. Jakość tej wspólnej reprezentacji jest głównym czynnikiem determinującym dokładność uczenia z niewielką liczbą przykładów w dalszych etapach.

4

W czasie testowania model albo oblicza podobieństwa między osadzeniami zapytań a osadzeniami wspierającymi (metody oparte na metrykach, takie jak sieci dopasowujące (ang. Matching Networks) lub sieci prototypowe (ang. Prototypical Networks)), albo wykonuje niewielką liczbę kroków gradientowych w celu adaptacji swoich parametrów do zbioru wspierającego (metody oparte na optymalizacji, takie jak MAML). Obie strategie wykorzystują nauczoną reprezentację bez ponownego trenowania od zera.

5

Funkcja straty (ang. loss) na zbiorze zapytań jest używana do aktualizacji parametrów meta-uczącego (ang. meta-learner) w kolejnych epizodach, tak aby reprezentacja i strategia adaptacji ulegały globalnej poprawie. Po wdrożeniu, końcowy model adaptuje się do dowolnego nowego zbioru wspierającego w ciągu sekund, dokonując predykcji na niewidzianych przykładach zapytań bez dalszej optymalizacji.

Częste pułapki

  • Mylenie uczenia z niewielką liczbą przykładów z uczeniem z zerową liczbą przykładów (ang. zero-shot learning): uczenie z niewielką liczbą przykładów wymaga co najmniej jednego oznakowanego przykładu na nową klasę w czasie testowania.
  • Ewaluacja na klasach testowych widzianych podczas meta-treningu, zawyżając raportowaną dokładność.
  • Ignorowanie luki domenowej: model meta-trenowany na ImageNet nie uogólni się automatycznie na histologię medyczną bez adaptacji domenowej.
  • Używanie standardowej nadzorowanej funkcji straty bez treningu epizodycznego i oczekiwanie generalizacji z niewielką liczbą przykładów.
  • Raportowanie tylko dokładności top-1 bez przedziałów ufności na podstawie wielu losowań epizodów, co maskuje zmienność wyników uczenia z niewielką liczbą przykładów.

Najczęściej zadawane pytania

Jaka jest różnica między uczeniem z niewielką liczbą przykładów a uczeniem transferowym?

Uczenie transferowe dostraja wstępnie wytrenowany model do nowego zadania i zazwyczaj korzysta z dziesiątek do tysięcy oznakowanych przykładów. Uczenie z niewielką liczbą przykładów jest specjalnie zaprojektowane do adaptacji przy użyciu zaledwie jednego do pięciu przykładów na klasę, wykorzystując epizodyczne meta-treningowanie, dzięki czemu model uczy się szybko uogólniać, a nie dopasowywać do konkretnej domeny.

Co oznacza k-shot n-way?

Opisuje to strukturę epizodu: n-way oznacza, że prezentowane są jednocześnie n nowych klas, a k-shot oznacza, że dla każdej klasy dostarczany jest k oznakowany przykład. Zadanie 5-way 1-shot prosi model o sklasyfikowanie obrazów z zapytania do jednej z pięciu kategorii, mając tylko jeden oznakowany przykład dla każdej z nich.

Czy potrzebuję GPU do uruchomienia uczenia z niewielką liczbą przykładów?

Meta-trening – zwłaszcza metody oparte na optymalizacji, takie jak MAML – wymaga znacznych zasobów obliczeniowych i jest zazwyczaj wykonywany na GPU. Jednak wnioskowanie oparte na metrykach (porównywanie osadzeń zapytań z prototypami wspierającymi) jest tanie i może działać na CPU w produkcji po wstępnym wytrenowaniu modelu bazowego.

Ile zadań meta-treningowych potrzebuję?

Zależy to od różnorodności, a nie od absolutnej liczby. Kilka tysięcy epizodycznie próbkowanych zadań z zróżnicowanej puli klas stanowi powszechną bazę. Najważniejsze jest to, aby klasy meta-treningowe były liczne i wystarczająco zróżnicowane, aby można było uogólnić na niewidziane klasy docelowe.

Czy uczenie z niewielką liczbą przykładów to to samo co uczenie z zerową liczbą przykładów?

Nie. Uczenie z zerową liczbą przykładów nie wymaga żadnych oznakowanych przykładów z nowych klas w czasie testowania, opierając się całkowicie na deskryptorach semantycznych klas lub atrybutach. Uczenie z niewielką liczbą przykładów zawsze dostarcza co najmniej jeden oznakowany przykład na nową klasę w zbiorze wspierającym.

Pokrewne metody

Źródła

  1. Vinyals, O., Blundell, C., Lillicrap, T., Wierstra, D., & Kavukcuoglu, K. (2016). Matching Networks for One Shot Learning. Advances in Neural Information Processing Systems (NeurIPS), 29.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Finn, C., Abbeel, P., & Levine, S. (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks. Proceedings of the 34th International Conference on Machine Learning (ICML), PMLR 70:1126–1135.

    Otwórz odnośnik do publikacji
    Skopiowano.