Zum Inhalt springen
Zurück zu den Suchergebnissen

Faltungsneuronales Netz (Klassifikation)

Eingeführt von
LeCun, Y. et al.
Jahr
1998
Typ
Deep neural network (convolutional)

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Ein Faltungsneuronales Netz (CNN) ist ein Deep-Learning-Modell, das 1998 von LeCun und Kollegen etabliert wurde und lokale Muster direkt aus Bildern und strukturierten Daten lernt, um diese zu klassifizieren.

Stapel von Faltungsfiltern entdecken zunehmend abstrakte Merkmale, wodurch die manuelle Merkmalsentwicklung weitgehend reduziert werden kann.

Die Intuition hinter der Methode

Anstatt Merkmale von Hand zu erstellen, schiebt ein CNN kleine, lernfähige Filter über die Eingabe, um lokale Muster wie Kanten, Texturen oder Motive zu erkennen, unabhängig davon, wo sie auftreten. Frühe Schichten erfassen einfache Hinweise; tiefere Schichten kombinieren diese zu höherwertigen Konzepten. Da derselbe Filter über die gesamte Eingabe hinweg wiederverwendet wird, lernt das Netzwerk effizient und erkennt ein Muster, wo immer es auftritt.

Geschichte

Faltungsneuronale Netze wurden in ihrer modernen Form von Yann LeCun und Kollegen in ihrer Arbeit von 1998 über gradientenbasiertes Lernen, angewandt auf die Dokumentenerkennung, zusammengeführt, wobei die LeNet-Architektur handgeschriebene Ziffern las. Die Kombination aus Faltung, Pooling und End-to-End-Gradiententraining wurde zur Vorlage für die Bildklassifikation und trieb mit größeren Datensätzen und schnellerer Hardware die Deep-Learning-Revolution in der Computer Vision voran.

Wann wird sie eingesetzt?

Verwenden Sie ein CNN zur Klassifizierung oder Vorhersage aus Bildern und strukturierten gitterartigen Daten, wenn Sie einen großen beschrifteten Datensatz haben – ungefähr 1000 oder mehr Beobachtungen – und möchten, dass das Modell Merkmale automatisch lernt, anstatt sie manuell zu entwickeln. Es erfordert keine normalverteilten Daten und verarbeitet kontinuierliche und kategoriale Eingaben. Unter etwa 500 Beobachtungen überanstrengt sich das Netzwerk, und ein Random Forest ist sicherer; unter etwa 200 können die Faltungsfilter keine aussagekräftigen Muster lernen, und SVM ist vorzuziehen.

Grenzen und Hinweise

  • Benötigt einen großen beschrifteten Datensatz (ca. 1000+ Beobachtungen), um zuverlässig zu trainieren.
  • Bei kleinen Stichproben (n unter ca. 500) überanstrengt sich das Netzwerk, und die Klassifikationsleistung sinkt.
  • Unter etwa 200 Beobachtungen können die Faltungsfilter überhaupt keine aussagekräftigen Muster lernen.
  • Rechenintensiv im Training, und die gelernte Repräsentation ist schwer zu interpretieren.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Lernt lokale Muster automatisch, wodurch der Bedarf an manueller Merkmalsentwicklung stark reduziert wird.
  • Gewichtsteilung erkennt ein Muster, wo immer es auftritt, und hält die Parameteranzahl überschaubar.
  • Baut eine Hierarchie von Merkmalen auf, von einfachen Kanten bis zu abstrakten Konzepten, gut geeignet für Bilder.
  • Annahme-arm: keine Normalitätsanforderung, und es akzeptiert kontinuierliche und kategoriale Eingaben.
  • Modernste Genauigkeit bei großen beschrifteten Bild- und gitterstrukturierten Klassifikationsaufgaben.

Anwendungen

  • Bildklassifikations- und Erkennungsaufgaben.
  • Klassifikation von strukturierten, gitterartigen Daten, bei denen lokale Muster wichtig sind.
  • Dokumenten- und Handschrifterkennung.
  • Merkmalslernen, wo manuelle Merkmalsentwicklung unpraktisch ist.

So funktioniert es

So funktioniert es

1

Lernfähige Filter (Kernel) werden über die Eingabe gefaltet, wobei lokale gewichtete Summen berechnet werden, um Feature Maps zu erzeugen. Jeder Filter reagiert auf ein spezifisches lokales Muster – eine Kante, eine Textur, ein Formfragment – und da dieselben Gewichte über alle Positionen hinweg geteilt werden, erkennt das Netzwerk dieses Muster überall in der Eingabe, während die Anzahl der Parameter gering bleibt.

Formel
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

Pooling-Schichten (zum Beispiel Max Pooling) reduzieren die Größe jeder Feature Map, indem sie Nachbarschaften zu einem einzigen Wert zusammenfassen. Dies verkleinert die räumlichen Dimensionen, macht die Repräsentation robuster gegenüber kleinen Verschiebungen und Verzerrungen und ermöglicht es späteren Schichten, zunehmend abstraktere Merkmale über ein breiteres rezeptives Feld aufzubauen.

3

Die hochrangigen Feature Maps werden abgeflacht und durch vollständig verbundene Schichten geleitet, die in einer Softmax-Funktion enden, die Klassenwahrscheinlichkeiten ausgibt. Das gesamte Netzwerk – Filter und Gewichte zusammen – wird End-to-End durch gradientenbasiertes Lernen trainiert, wobei der Klassifikationsfehler über Backpropagation minimiert wird.

Formel
\hat{y} = \operatorname{softmax}(W h + b)

Häufige Fallstricke

  • Training mit zu wenig Daten und Überanpassung, anstatt auf Random Forest oder SVM zurückzugreifen.
  • Überspringen einer Validierungs- oder Testaufteilung und Vertrauen auf die Trainingsgenauigkeit.
  • Ignorieren von Klassenungleichgewicht anstatt Neugewichtung oder Resampling der Klassen.
  • Nur die Genauigkeit berichten, ohne Präzision, Recall, F1 oder eine Konfusionsmatrix.
  • Vergessen, Eingaben zu normalisieren oder keine Regularisierung gegen Überanpassung anzuwenden.

Häufig gestellte Fragen

Wie viele Daten benötigt ein CNN?

CNNs sind datenhungrig; eine grobe Untergrenze liegt bei etwa 1000 beschrifteten Beobachtungen. Unter etwa 500 neigen sie zur Überanpassung, und unter etwa 200 können die Filter keine aussagekräftigen Muster lernen – in diesen Fällen sind Random Forest oder SVM sicherere Optionen.

Warum Faltung anstelle eines einfachen neuronalen Netzes?

Die Faltung teilt denselben kleinen Filter über alle Positionen der Eingabe, sodass ein Muster erkannt wird, wo immer es auftritt, und die Parameteranzahl gering bleibt. Ein vollständig verbundenes Netzwerk würde wesentlich mehr Gewichte benötigen und die räumliche Struktur der Daten nicht ausnutzen.

Was bewirkt Pooling?

Pooling reduziert die Größe von Feature Maps, indem es lokale Nachbarschaften zusammenfasst, was die räumliche Größe verringert, Robustheit gegenüber kleinen Verschiebungen hinzufügt und es tieferen Schichten ermöglicht, abstraktere Merkmale über ein breiteres rezeptives Feld aufzubauen.

Was sollte ich überprüfen, bevor ich mich auf ein CNN verlasse?

Bestätigen Sie, dass Sie einen ausreichend großen beschrifteten Datensatz haben, normalisieren Sie die Eingaben, richten Sie eine ordnungsgemäße Trainings-/Validierungs-/Testaufteilung ein, beheben Sie eventuelle Klassenungleichgewichte und bewerten Sie mit Präzision, Recall, F1 und einer Konfusionsmatrix anstatt nur mit der Genauigkeit.

Verwandte Methoden

Quellen

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    DOI-Referenz öffnen
    Kopiert.