Przejdź do treści
Wróć do wyników wyszukiwania

Konwolucyjna Sieć Neuronowa (Klasyfikacja)

Autor metody
LeCun, Y. et al.
Rok
1998
Typ
Deep neural network (convolutional)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Konwolucyjna Sieć Neuronowa (CNN) to model głębokiego uczenia, stworzony przez LeCuna i współpracowników w 1998 roku, który uczy się lokalnych wzorców bezpośrednio z obrazów i danych strukturalnych w celu ich klasyfikacji.

Stosy filtrów konwolucyjnych odkrywają coraz bardziej abstrakcyjne cechy, co znacznie redukuje potrzebę ręcznego inżynierowania cech.

Intuicja stojąca za metodą

Zamiast ręcznego tworzenia cech, CNN przesuwa małe, uczące się filtry po wejściu, aby wykrywać lokalne wzorce, takie jak krawędzie, tekstury czy motywy, niezależnie od ich położenia. Wczesne warstwy wychwytują proste wskazówki; głębsze warstwy łączą je w koncepcje wyższego poziomu. Ponieważ ten sam filtr jest ponownie używany w całym wejściu, sieć uczy się efektywnie i rozpoznaje wzorzec wszędzie tam, gdzie się on pojawia.

Historia

Konwolucyjne sieci neuronowe zostały zebrane w nowoczesnej formie przez Yanna LeCuna i współpracowników w ich pracy z 1998 roku nad uczeniem opartym na gradientach zastosowanym do rozpoznawania dokumentów, gdzie architektura LeNet odczytywała odręczne cyfry. Połączenie konwolucji, poolingu i kompleksowego treningu gradientowego stało się szablonem dla klasyfikacji obrazów i, dzięki większym zbiorom danych i szybszemu sprzętowi, napędzało rewolucję głębokiego uczenia w wizji komputerowej.

Kiedy stosować

Użyj CNN do klasyfikacji lub przewidywania na podstawie obrazów i ustrukturyzowanych danych siatkowych, gdy masz duży, oznakowany zbiór danych — około 1000 lub więcej obserwacji — i chcesz, aby model automatycznie uczył się cech, zamiast ręcznie je inżynierować. Nie wymaga danych o rozkładzie normalnym i obsługuje wejścia ciągłe i kategoryczne. Poniżej około 500 obserwacji sieć nadmiernie dopasowuje się, a Random Forest jest bezpieczniejszy; poniżej około 200 filtry konwolucyjne nie mogą nauczyć się znaczących wzorców, a SVM jest preferowany.

Ograniczenia i uwagi

  • Wymaga dużego, oznakowanego zbioru danych (około 1000+ obserwacji) do wiarygodnego trenowania.
  • Na małych próbkach (n poniżej około 500) sieć nadmiernie dopasowuje się, a wydajność klasyfikacji spada.
  • Poniżej około 200 obserwacji filtry konwolucyjne w ogóle nie są w stanie nauczyć się znaczących wzorców.
  • Wymagająca obliczeniowo w trenowaniu, a nauczona reprezentacja jest trudna do interpretacji.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Automatycznie uczy się lokalnych wzorców, znacznie redukując potrzebę ręcznego inżynierowania cech.
  • Współdzielenie wag rozpoznaje wzorzec wszędzie tam, gdzie się pojawia, i utrzymuje liczbę parametrów na rozsądnym poziomie.
  • Buduje hierarchię cech, od prostych krawędzi po abstrakcyjne koncepcje, dobrze dopasowaną do obrazów.
  • Niewymagająca założeń: brak wymogu normalności, akceptuje wejścia ciągłe i kategoryczne.
  • Najnowocześniejsza dokładność w zadaniach klasyfikacji dużych, oznakowanych obrazów i danych o strukturze siatki.

Zastosowania

  • Zadania klasyfikacji i rozpoznawania obrazów.
  • Klasyfikacja ustrukturyzowanych danych siatkowych, gdzie lokalne wzorce mają znaczenie.
  • Rozpoznawanie dokumentów i odręcznych znaków.
  • Uczenie cech, gdzie ręczne inżynierowanie cech jest niepraktyczne.

Jak to działa

Jak to działa

1

Uczące się filtry (jądra) są konwolowane z wejściem, obliczając lokalne ważone sumy w celu wytworzenia map cech. Każdy filtr reaguje na specyficzny lokalny wzorzec — krawędź, teksturę, fragment kształtu — a ponieważ te same wagi są współdzielone we wszystkich pozycjach, sieć wykrywa ten wzorzec w dowolnym miejscu wejścia, jednocześnie utrzymując niską liczbę parametrów.

Wzór
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

Warstwy poolingowe (na przykład max pooling) zmniejszają próbkowanie każdej mapy cech, podsumowując sąsiedztwa w pojedynczą wartość. Zmniejsza to wymiary przestrzenne, czyni reprezentację bardziej odporną na małe przesunięcia i zniekształcenia oraz pozwala późniejszym warstwom budować stopniowo bardziej abstrakcyjne cechy na szerszym polu recepcyjnym.

3

Mapy cech wysokiego poziomu są spłaszczane i przekazywane przez w pełni połączone warstwy, zakończone funkcją softmax, która generuje prawdopodobieństwa klas. Cała sieć — filtry i wagi razem — jest trenowana kompleksowo za pomocą uczenia opartego na gradientach, minimalizując stratę klasyfikacji poprzez wsteczną propagację.

Wzór
\hat{y} = \operatorname{softmax}(W h + b)

Częste pułapki

  • Trenowanie na zbyt małej ilości danych i nadmierne dopasowanie zamiast powrotu do Random Forest lub SVM.
  • Pomijanie wydzielonego zbioru walidacyjnego lub testowego i ufanie dokładności treningowej.
  • Ignorowanie braku równowagi klas zamiast ponownego ważenia lub ponownego próbkowania klas.
  • Raportowanie tylko dokładności bez precyzji, kompletności, F1 lub macierzy pomyłek.
  • Zapominanie o normalizacji danych wejściowych lub niestosowanie żadnej regularyzacji przeciwko nadmiernemu dopasowaniu.

Najczęściej zadawane pytania

Ile danych potrzebuje CNN?

CNN są "głodne danych"; dolna granica to około 1000 oznakowanych obserwacji. Poniżej około 500 mają tendencję do nadmiernego dopasowania, a poniżej około 200 filtry nie mogą nauczyć się znaczących wzorców — w takich przypadkach Random Forest lub SVM są bezpieczniejszymi wyborami.

Dlaczego konwolucja zamiast zwykłej sieci neuronowej?

Konwolucja współdzieli ten sam mały filtr we wszystkich pozycjach wejścia, dzięki czemu wzorzec jest wykrywany wszędzie tam, gdzie się pojawia, a liczba parametrów pozostaje niska. W pełni połączona sieć potrzebowałaby znacznie więcej wag i nie wykorzystywałaby przestrzennej struktury danych.

Co robi pooling?

Pooling zmniejsza próbkowanie map cech poprzez podsumowywanie lokalnych sąsiedztw, co redukuje rozmiar przestrzenny, zwiększa odporność na małe przesunięcia i pozwala głębszym warstwom budować bardziej abstrakcyjne cechy na szerszym polu recepcyjnym.

Co powinienem sprawdzić przed poleganiem na CNN?

Upewnij się, że masz wystarczająco duży, oznakowany zbiór danych, znormalizuj dane wejściowe, ustaw odpowiedni podział na zbiory treningowy/walidacyjny/testowy, zajmij się ewentualnym brakiem równowagi klas i oceniaj za pomocą precyzji, kompletności, F1 i macierzy pomyłek, a nie tylko dokładności.

Pokrewne metody

Źródła

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    Otwórz odnośnik DOI
    Skopiowano.