Skip to content
Torna ai risultati

Rete Neurale Convoluzionale (Classificazione)

Introdotto da
LeCun, Y. et al.
Anno
1998
Tipo
Deep neural network (convolutional)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Una Rete Neurale Convoluzionale (CNN) è un modello di deep learning, sviluppato da LeCun e colleghi nel 1998, che apprende pattern locali direttamente da immagini e dati strutturati per classificarli.

Stack di filtri convoluzionali scoprono caratteristiche sempre più astratte, riducendo così in larga misura l'ingegneria manuale delle caratteristiche.

L’intuizione alla base del metodo

Invece di creare manualmente le caratteristiche, una CNN fa scorrere piccoli filtri apprendibili sull'input per rilevare pattern locali come bordi, texture o motivi, indipendentemente da dove appaiano. I primi strati acquisiscono indizi semplici; gli strati più profondi li combinano in concetti di livello superiore. Poiché lo stesso filtro viene riutilizzato su tutto l'input, la rete apprende in modo efficiente e riconosce un pattern ovunque si presenti.

Storia

Le reti neurali convoluzionali sono state riunite nella forma moderna da Yann LeCun e colleghi nel loro lavoro del 1998 sull'apprendimento basato su gradiente applicato al riconoscimento di documenti, dove l'architettura LeNet leggeva cifre scritte a mano. La combinazione di convoluzione, pooling e addestramento con gradiente end-to-end è diventata il modello per la classificazione delle immagini e, con set di dati più grandi e hardware più veloce, ha guidato la rivoluzione del deep learning nella computer vision.

Quando usarlo

Utilizzare una CNN per classificare o prevedere da immagini e dati strutturati a griglia quando si dispone di un ampio set di dati etichettato — circa 1000 o più osservazioni — e si desidera che il modello apprenda le caratteristiche automaticamente anziché ingegnerizzarle manualmente. Non richiede dati normalmente distribuiti e gestisce input continui e categorici. Al di sotto di circa 500 osservazioni la rete va in overfitting e una Random Forest è più sicura; al di sotto di circa 200 i filtri convoluzionali non possono apprendere pattern significativi e una SVM è preferibile.

Limiti e considerazioni

  • Richiede un ampio set di dati etichettato (circa 1000+ osservazioni) per un addestramento affidabile.
  • Su campioni piccoli (n inferiore a circa 500) la rete va in overfitting e le prestazioni di classificazione diminuiscono.
  • Al di sotto di circa 200 osservazioni i filtri convoluzionali non possono apprendere pattern significativi.
  • Computazionalmente impegnativa da addestrare, e la rappresentazione appresa è difficile da interpretare.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Apprende pattern locali automaticamente, riducendo notevolmente la necessità di ingegneria manuale delle caratteristiche.
  • La condivisione dei pesi riconosce un pattern ovunque appaia e mantiene gestibile il conteggio dei parametri.
  • Costruisce una gerarchia di caratteristiche, da semplici bordi a concetti astratti, ben adatta alle immagini.
  • Poche assunzioni: nessun requisito di normalità e accetta input continui e categorici.
  • Accuratezza allo stato dell'arte su grandi compiti di classificazione di immagini e dati strutturati a griglia etichettati.

Applicazioni

  • Compiti di classificazione e riconoscimento di immagini.
  • Classificazione di dati strutturati, a griglia, dove i pattern locali sono importanti.
  • Riconoscimento di documenti e caratteri scritti a mano.
  • Apprendimento di caratteristiche dove l'ingegneria manuale delle caratteristiche è impraticabile.

Come funziona

Come funziona

1

Filtri apprendibili (kernel) vengono convoluti sull'input, calcolando somme ponderate locali per produrre mappe di caratteristiche. Ogni filtro risponde a uno specifico pattern locale — un bordo, una texture, un frammento di forma — e poiché gli stessi pesi sono condivisi in tutte le posizioni, la rete rileva quel pattern ovunque nell'input mantenendo basso il conteggio dei parametri.

Formula
(I * K)(i,j) = \sum_{m}\sum_{n} I(i+m, j+n)\, K(m,n)
2

Gli strati di pooling (ad esempio, max pooling) sottocampionano ogni mappa di caratteristiche, riassumendo i vicinati in un singolo valore. Ciò riduce le dimensioni spaziali, rende la rappresentazione più robusta a piccoli spostamenti e distorsioni, e consente agli strati successivi di costruire caratteristiche progressivamente più astratte su un campo recettivo più ampio.

3

Le mappe di caratteristiche di alto livello vengono appiattite e passate attraverso strati completamente connessi che terminano con una softmax che restituisce le probabilità di classe. L'intera rete — filtri e pesi insieme — viene addestrata end-to-end mediante apprendimento basato su gradiente, minimizzando la perdita di classificazione tramite backpropagation.

Formula
\hat{y} = \operatorname{softmax}(W h + b)

Errori comuni

  • Addestramento su dati insufficienti e overfitting invece di ricorrere a Random Forest o SVM.
  • Saltare una suddivisione di validazione o test tenuta da parte e fidarsi dell'accuratezza di addestramento.
  • Ignorare lo sbilanciamento delle classi invece di riponderare o ricampionare le classi.
  • Riportare solo l'accuratezza senza precisione, richiamo, F1 o una matrice di confusione.
  • Dimenticare di normalizzare gli input o non applicare alcuna regolarizzazione contro l'overfitting.

Domande frequenti

Quanti dati necessita una CNN?

Le CNN sono affamate di dati; un limite inferiore approssimativo è intorno a 1000 osservazioni etichettate. Al di sotto di circa 500 tendono all'overfitting, e al di sotto di circa 200 i filtri non possono apprendere pattern significativi — in quei casi Random Forest o SVM sono scelte più sicure.

Perché la convoluzione invece di una rete neurale semplice?

La convoluzione condivide lo stesso piccolo filtro su tutte le posizioni dell'input, quindi un pattern viene rilevato ovunque appaia e il conteggio dei parametri rimane basso. Una rete completamente connessa richiederebbe molti più pesi e non sfrutterebbe la struttura spaziale dei dati.

Cosa fa il pooling?

Il pooling sottocampiona le mappe di caratteristiche riassumendo i vicinati locali, il che riduce la dimensione spaziale, aggiunge robustezza a piccoli spostamenti e consente agli strati più profondi di costruire caratteristiche più astratte su un campo recettivo più ampio.

Cosa controllare prima di fare affidamento su una CNN?

Confermare di avere un set di dati etichettato sufficientemente ampio, normalizzare gli input, impostare una corretta suddivisione train/validation/test, affrontare eventuali sbilanciamenti di classe e valutare con precisione, richiamo, F1 e una matrice di confusione piuttosto che solo con l'accuratezza.

Metodi correlati

Fonti

  1. LeCun, Y., Bottou, L., Bengio, Y. & Haffner, P. (1998). Gradient-Based Learning Applied to Document Recognition. Proceedings of the IEEE, 86(11), 2278–2324.

    Apri il riferimento DOI
    Copiato.