Skip to content
Torna ai risultati

Autoencoder

Introdotto da
Hinton, G.E. & Salakhutdinov, R.R.
Anno
2006
Tipo
Neural network (encoder-decoder)

Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese

Dimensione del carattere

A cosa serve?

Un autoencoder è una rete neurale encoder-decoder, resa popolare da Hinton e Salakhutdinov nel 2006, che comprime i dati in un codice latente a bassa dimensionalità e poi li ricostruisce, consentendo la riduzione della dimensionalità e il rilevamento delle anomalie.

Imparando a ricostruire il proprio input attraverso un "collo di bottiglia" stretto, scopre una rappresentazione compatta dei dati.

L’intuizione alla base del metodo

Immaginate di dover riassumere un lungo documento in una singola frase e poi riscrivere l'intero documento basandovi solo su quella frase. Per farlo bene, dovete conservare solo ciò che è più importante. Un autoencoder apprende esattamente questa disciplina: comprime ogni osservazione attraverso un "collo di bottiglia" stretto e cerca di ricostruire l'originale dal codice compresso. Ciò che sopravvive alla compressione è l'essenza dei dati, e gli input che la rete non riesce a ricostruire bene si distinguono come anomalie.

Storia

L'idea dell'autoencoder di apprendere un codice compatto ricostruendo l'input è stata portata alla ribalta da Geoffrey Hinton e Ruslan Salakhutdinov nel loro articolo su Science del 2006, che ha dimostrato come le reti neurali profonde potessero ridurre la dimensionalità dei dati in modo più efficace rispetto alle tecniche lineari classiche. Questo lavoro ha contribuito a stabilire le reti neurali come uno strumento pratico per l'apprendimento delle rappresentazioni.

Quando usarlo

Utilizzate un autoencoder per la riduzione non lineare della dimensionalità o il rilevamento delle anomalie su dati a valori continui quando disponete di un campione ragionevolmente ampio — circa 200 osservazioni o più. Non richiede dati distribuiti normalmente, ma necessita di dati sufficienti per apprendere uno spazio latente significativo, e la scelta della dimensione dello strato nascosto è critica. Con campioni piccoli (sotto circa 200) la PCA è la scelta più sicura, e sotto circa 50 la riduzione della dimensionalità basata su reti neurali fallisce completamente.

Limiti e considerazioni

  • Richiede un campione ragionevolmente ampio — circa 200 osservazioni o più — per apprendere uno spazio latente significativo.
  • La scelta della dimensione dello strato nascosto (latente) è critica e influenza fortemente i risultati.
  • Su dataset piccoli non può apprendere lo spazio latente ed è preferibile una PCA più semplice.
  • Sotto circa 50 osservazioni la riduzione della dimensionalità basata su reti neurali fallisce completamente.

Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.

Punti di forza

  • Cattura la struttura non lineare che i metodi lineari come la PCA non rilevano.
  • Serve sia per la riduzione della dimensionalità sia per il rilevamento delle anomalie dalla stessa rappresentazione appresa.
  • Poche assunzioni: non richiede dati distribuiti normalmente.
  • Il codice latente fornisce una rappresentazione compatta e appresa di dati continui complessi.

Applicazioni

  • Riduzione non lineare della dimensionalità di dati continui ad alta dimensione.
  • Rilevamento delle anomalie segnalando osservazioni con un grande errore di ricostruzione.
  • Apprendimento di rappresentazioni latenti compatte come caratteristiche per compiti successivi.
  • Analisi esplorativa di dati complessi dove la riduzione lineare è insufficiente.

Come funziona

Come funziona

1

L'encoder mappa l'input attraverso uno o più strati nascosti fino a un codice latente a bassa dimensionalità. La dimensione di questo strato nascosto (collo di bottiglia) è la scelta progettuale critica: troppo ampio e la rete copia semplicemente l'input, troppo stretto e perde una struttura significativa.

Formula
z = f(Wx + b)
2

Il decoder prende il codice latente e lo espande nuovamente attraverso strati nascosti verso la dimensionalità originale, producendo una ricostruzione dell'input. Encoder e decoder sono addestrati insieme come un'unica rete.

Formula
\hat{x} = g(W'z + b')
3

L'addestramento minimizza l'errore di ricostruzione — la differenza tra l'input e la sua versione ricostruita. Una volta addestrato, il codice latente serve come rappresentazione compressa per la riduzione della dimensionalità, mentre grandi errori di ricostruzione segnalano osservazioni che non si adattano ai pattern appresi, supportando il rilevamento delle anomalie.

Formula
\min \; \lVert x - \hat{x} \rVert^2

Errori comuni

  • Applicarlo a campioni piccoli dove la PCA sarebbe sia adeguata che più affidabile.
  • Impostare il "collo di bottiglia" troppo ampio, in modo che la rete copi l'input invece di comprimerlo.
  • Impostare il "collo di bottiglia" troppo stretto, scartando una struttura significativa.
  • Usarlo su tipi di dati per i quali non è adatto invece che su caratteristiche a valori continui.

Domande frequenti

In cosa differisce un autoencoder dalla PCA?

La PCA trova la migliore proiezione lineare dei dati, mentre un autoencoder può apprendere rappresentazioni non lineari attraverso i suoi strati nascosti. Per campioni piccoli o quando una sintesi lineare è sufficiente, la PCA è più semplice e affidabile; gli autoencoder sono vantaggiosi quando i dati hanno una struttura non lineare e il campione è sufficientemente grande.

Di quanti dati ho bisogno?

Circa 200 osservazioni o più. Al di sotto, la rete non può apprendere uno spazio latente significativo e la PCA è la scelta più sicura; al di sotto di circa 50 osservazioni la riduzione della dimensionalità basata su reti neurali fallisce completamente.

Come rilevo le anomalie con esso?

Dopo l'addestramento, fate passare le osservazioni attraverso la rete e misurate il loro errore di ricostruzione. I punti che il modello ricostruisce male — quelli con un grande errore — non si adattano ai pattern appresi e vengono segnalati come anomalie.

Qual è l'impostazione più importante da azzeccare?

La dimensione dello strato nascosto (collo di bottiglia). Troppo ampio e la rete copia semplicemente l'input senza apprendere una compressione utile; troppo stretto e scarta una struttura significativa.

Metodi correlati

Fonti

  1. Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.

    Apri il riferimento DOI
    Copiato.