Przejdź do treści
Wróć do wyników wyszukiwania

Uczenie metryczne

Autor metody
Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
Rok
2003 (foundational); refined 2009 (LMNN)
Typ
Representation learning / supervised distance optimization
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Uczenie metryczne to framework uczenia maszynowego, który trenuje funkcję odległości lub podobieństwa na podstawie danych, tak aby semantycznie podobne przykłady znalazły się blisko siebie w nauczonej przestrzeni, podczas gdy niepodobne przykłady są odpychane.

W przeciwieństwie do stałych odległości, takich jak euklidesowa, nauczona metryka dostosowuje się do struktury zadania, znacznie zwiększając dokładność klasyfikatorów, algorytmów klastrowania i systemów wyszukiwania.

Intuicja stojąca za metodą

Standardowe odległości, takie jak euklidesowa, traktują wszystkie wymiary cech równo. Jednak w wielu problemach niektóre cechy są znacznie bardziej informatywne niż inne, a istotne wymiary różnią się w zależności od klasy. Uczenie metryczne polega na trenowaniu linijki: na podstawie informacji o tym, które pary przykładów powinny być blisko siebie, a które daleko od siebie, dostosowuje geometrię przestrzeni cech tak, aby prosty klasyfikator najbliższych sąsiadów lub algorytm klastrowania natychmiast poprawnie grupował dane. Nauczona przestrzeń efektywnie oddaje znaczenie „podobieństwa” dla konkretnego zadania.

Historia

Nowoczesny framework został ustanowiony przez Xing i wsp. (2003), którzy sformułowali uczenie metryczne jako problem optymalizacji wypukłej z ograniczeniami parami. Weinberger i Saul (2009) wprowadzili Large Margin Nearest Neighbor (LMNN), ustanawiając nowy standard dla zadań opartych na k-NN. Dziedzina przyspieszyła dzięki głębokiemu uczeniu metrycznemu: Chopra i wsp. (2005) spopularyzowali sieć Siamese ze stratą kontrastową, a Schroff i wsp. (2015) wprowadzili stratę trójkową FaceNet do weryfikacji twarzy na dużą skalę. Obecnie uczenie metryczne stanowi podstawę wielu badań nad uczeniem z niewielką liczbą przykładów (few-shot learning) i reprezentacją wizualną.

Kiedy stosować

Używaj uczenia metrycznego, gdy zadanie niższego poziomu jest z natury oparte na podobieństwie — np. klasyfikacja z niewielką liczbą przykładów (few-shot classification), weryfikacja twarzy, wyszukiwanie obrazów medycznych, identyfikacja mówcy lub rekomendacja produktów — i gdy stała odległość euklidesowa działa słabo, ponieważ cechy mają nierówną istotność. Doskonale sprawdza się przy umiarkowanych do dużych zbiorach danych z etykietami i danych wejściowych o wysokiej wymiarowości, takich jak obrazy lub osadzenia tekstu. Unikaj go, gdy masz bardzo mało przykładów z etykietami na klasę (mniej niż około 5–10 na klasę), gdy ostatecznym celem jest prosta regresja lub klasyfikacja tabelaryczna, dla której dobrze sprawdzają się regresja logistyczna lub gradient boosting, lub gdy wymagana jest interpretowalność w kategoriach jawnych współczynników cech.

Ograniczenia i uwagi

  • Straty trójkowe i kontrastowe wymagają starannego wydobywania par/trójek; losowe próbkowanie daje głównie łatwe, nieinformatywne pary i drastycznie spowalnia trenowanie.
  • Metody liniowego Mahalanobisa skalują się kwadratowo wraz z wymiarowością cech, stając się niewykonalne przy bardzo wysokich wymiarach bez redukcji wymiarowości.
  • Wymaga danych z etykietami lub ograniczeniami parami; ustawienia w pełni nienadzorowane ograniczają to, co można nauczyć bez dodatkowych założeń.
  • Ocena jest pośrednia — jakość metryki musi być oceniana poprzez zadanie niższego poziomu, a nie pojedynczą wartość straty.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dostosowuje geometrię przestrzeni cech do konkretnego zadania, znacząco zwiększając dokładność najbliższych sąsiadów i klastrowania.
  • Umożliwia rozpoznawanie z niewielką liczbą przykładów (few-shot recognition): po nauczeniu dobrej metryki klasyfikacja nowych klas wymaga tylko garstki przykładów.
  • Dobrze przenosi się między domenami — metryka nauczona na jednym zbiorze danych może być dostrojona do powiązanego zadania przy niewielkiej ilości dodatkowych danych.
  • Niezależny od modelu: nauczone osadzenie może zasilać dowolny algorytm niższego poziomu (k-NN, SVM, k-means) bez ponownego trenowania tych komponentów.
  • Formulacje kontrastowe i trójkowe skalują się do bardzo dużych zbiorów danych za pomocą próbkowania mini-wsadowego.

Zastosowania

  • Weryfikacja i rozpoznawanie twarzy: uczenie, czy dwa obrazy twarzy przedstawiają tę samą osobę.
  • Klasyfikacja obrazów z niewielką liczbą przykładów (few-shot image classification): klasyfikacja nowych kategorii wizualnych na podstawie jednego lub kilku przykładów.
  • Wyszukiwanie obrazów medycznych: znajdowanie podobnych regionów skanowania lub fragmentów histopatologicznych w dużych bazach danych.
  • Weryfikacja mówcy i głosu w systemach uwierzytelniania biometrycznego.
  • Rekomendacje produktów i wyszukiwanie wizualne w handlu elektronicznym.

Jak to działa

Jak to działa

1

Na podstawie danych z etykietami lub adnotacjami parami definiuje się pary pozytywne (tej samej klasy lub jawnie podobne) i negatywne (różnej klasy lub jawnie niepodobne). Te ograniczenia kodują znaczenie „blisko” i „daleko” dla zadania i stanowią sygnał nadzoru do trenowania metryki.

2

Wybiera się parametryczną funkcję odległości — najczęściej odległość Mahalanobisa opisaną przez macierz dodatnio półokreśloną M, lub funkcję osadzania sieci neuronowej, po której następuje odległość euklidesowa lub cosinusowa. Macierz M generalizuje skalowanie osiowe do pełnego ważenia cech między sobą.

Wzór
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0
3

Formułuje się cel, aby zbliżyć pary pozytywne i odepchnąć pary negatywne, z zachowaniem marginesu lub miękkiego ograniczenia. Typowe cele obejmują stratę kontrastową, stratę trójkową (odległość kotwica-pozytyw mniejsza niż odległość kotwica-negatyw o margines) lub stratę zawiasową najbliższych sąsiadów o dużym marginesie (LMNN).

4

Parametry metryki (M lub wagi sieci neuronowej) są optymalizowane za pomocą spadku gradientowego lub programowania półokreślonego. Strategie próbkowania mini-wsadowego, takie jak wydobywanie trudnych negatywów, są kluczowe dla celów opartych na trójkach: losowe próbkowanie zazwyczaj daje nieinformatywne trójki, które spowalniają zbieżność.

5

W fazie wnioskowania nauczona metryka lub osadzanie jest stosowane do nowych danych. Zadania niższego poziomu — klasyfikacja najbliższych sąsiadów, klastrowanie k-średnich, wyszukiwanie obrazów lub rekomendacje — działają w nauczonej przestrzeni, gdzie odległość wiernie odzwierciedla podobieństwo semantyczne.

Częste pułapki

  • Używanie losowego próbkowania trójek zamiast wydobywania trudnych lub półtrudnych negatywów, co prowadzi do gradientu bliskiego zeru i zatrzymania trenowania.
  • Ocena metryki tylko na klasach treningowych; wydajność na niewidzianych klasach (rzeczywisty cel generalizacji) może być znacznie niższa.
  • Pomijanie normalizacji osadzeń przed obliczeniem podobieństwa cosinusowego, co powoduje artefakty skali.
  • Traktowanie nauczonego osadzenia jako interpretowalnego w kategoriach oryginalnych cech bez dodatkowej analizy, takiej jak liniowe sondowanie (linear probing) lub SHAP.
  • Stosowanie nauczonej metryki do przesunięcia domenowego (inna dystrybucja danych) bez ponownej walidacji lub dostrajania.

Najczęściej zadawane pytania

Jaka jest różnica między uczeniem metrycznym a uczeniem kontrastowym?

Uczenie kontrastowe to specyficzna rodzina celów uczenia metrycznego (np. strata kontrastowa, SimCLR), która kontrastuje pary pozytywne i negatywne. Uczenie metryczne to szerszy framework, który obejmuje również metody Mahalanobisa, straty trójkowe i cele oparte na proxy.

Ile przykładów na klasę potrzebuję?

Metody liniowego Mahalanobisa mogą działać z zaledwie 10–20 przykładami na klasę. Głębokie uczenie metryczne zazwyczaj wymaga od kilkudziesięciu do setek przykładów na klasę, aby nauczyć użyteczne osadzenia, chociaż wstępnie wytrenowane sieci bazowe mogą znacznie zmniejszyć te wymagania.

Czy uczenie metryczne to to samo co redukcja wymiarowości?

Nie do końca. Metody takie jak PCA czy UMAP redukują wymiary bez bezpośredniego nadzoru. Uczenie metryczne wykorzystuje nadzór klasowy lub parami do kształtowania geometrii, dzięki czemu wynikowa przestrzeń jest dyskryminująca dla zadania, a nie tylko zwarta.

Czy uczenie metryczne może sobie poradzić z niezbalansowanymi klasami?

Tak, ale próbkowanie par/trójek musi być stratyfikowane, aby dominująca klasa nie przytłoczyła wsadu. Straty oparte na proxy (Proxy-NCA, Proxy-Anchor) są bardziej odporne na niezbalansowanie klas niż próbkowanie trójek.

Kiedy powinienem użyć uczenia metrycznego zamiast standardowego klasyfikatora?

Preferuj uczenie metryczne, gdy potrzebujesz generalizować na klasy niewidziane podczas treningu (rozpoznawanie otwartego zbioru, uczenie z niewielką liczbą przykładów), lub gdy zadanie polega na wyszukiwaniu, a nie na przewidywaniu stałych klas.

Pokrewne metody

Źródła

  1. Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.

    Otwórz odnośnik do publikacji
    Skopiowano.