MFCC (Mel-Frequency Cepstral Coefficients)
- Introdotto da
- Steven Davis, Paul Mermelstein
- Anno
- 1980
- Tipo
- Audio feature extraction algorithm
- Famiglia
- Audio Signal Processing
Questo testo è una traduzione automatica e non è ancora stato revisionato. Leggi l’originale in inglese
A cosa serve?
I Mel-Frequency Cepstral Coefficients (MFCCs) sono una rappresentazione compatta di caratteristiche audio che mimano la percezione uditiva umana.
Introdotti da Davis e Mermelstein nel 1980, gli MFCC sono il metodo di estrazione delle caratteristiche de facto per il riconoscimento vocale e l'analisi dei suoni ambientali. Comprimono le informazioni di frequenza dei segnali audio in un piccolo insieme di coefficienti che catturano il contenuto fonetico scartando dettagli irrilevanti.
L’intuizione alla base del metodo
L'udito umano non è lineare in frequenza; percepiamo il tono in modo logaritmico e siamo più sensibili alle frequenze più basse. Gli MFCC sfruttano questo aspetto: invece di utilizzare una scala di frequenza lineare (Hz), utilizzano la scala mel, che deforma la frequenza per adattarla alla percezione umana. L'audio viene scomposto per frequenza, trasformato sulla scala mel, compresso tramite logaritmo e trasformata del coseno, producendo circa 13 numeri che catturano la 'forma' dello spettro. Questi numeri sono notevolmente stabili tra i parlanti e robusti al rumore, rendendoli ideali per l'elaborazione vocale.
Storia
Davis e Mermelstein pubblicarono gli MFCC nel 1980, basandosi su lavori precedenti sulla scala mel e sull'analisi cepstrale. Gli MFCC divennero lo standard nel riconoscimento vocale durante gli anni '90-2000, utilizzati in sistemi come HTK e Sphinx. Con l'ascesa del deep learning, gli MFCC rimangono popolari come caratteristiche di input per le reti neurali, sebbene le rappresentazioni apprese (ad esempio, dagli spettrogrammi) siano sempre più competitive.
Quando usarlo
Utilizzare gli MFCC per il riconoscimento vocale, l'identificazione del parlante, il rilevamento delle emozioni e la classificazione dei suoni ambientali. Sono lo standard industriale per i sistemi di riconoscimento vocale automatico (ASR) e i modelli di deep learning. Applicare a segnali audio con parlato chiaro o struttura ambientale. Evitare per l'analisi musicale senza modifiche (la musica richiede caratteristiche diverse come il flusso spettrale o il croma).
Limiti e considerazioni
- Scarta le informazioni di fase; non è possibile ricostruire l'audio dai soli MFCC
- Assume stazionarietà all'interno dei frame; le caratteristiche a breve termine perdono pattern a lungo termine (superato con delta/accelerazione)
- Non ottimale per la musica; le caratteristiche musicali (centroide spettrale, croma, ecc.) sono spesso migliori
- Sensibile alle caratteristiche del microfono e al rumore di fondo (richiede normalizzazione)
Le condizioni della fonte non sostituiscono una revisione scientifica indipendente né la validazione da parte di un motore di analisi.
Punti di forza
- La rappresentazione compatta (~13 coefficienti per frame) riduce i costi computazionali e lo spazio di archiviazione
- Allineata con la percezione uditiva umana; cattura informazioni percettivamente importanti
- Robusta alla variabilità del parlante e al rumore moderato
- Ampiamente implementata nei framework di riconoscimento vocale (HTK, Kaldi, TensorFlow)
Applicazioni
- Riconoscimento vocale automatico nei dispositivi di consumo (assistenti vocali, dettatura)
- Identificazione e verifica del parlante per applicazioni di sicurezza
- Riconoscimento delle emozioni dal parlato in applicazioni di servizio clienti e salute mentale
- Classificazione dei suoni ambientali per la sorveglianza e il monitoraggio acustico
Come funziona
Come funziona
Registrare il segnale audio a una frequenza di campionamento standard (tipicamente 16 kHz per la voce).
Dividere l'audio in brevi frame (20-40 ms, sovrapposti); applicare una funzione di finestra (finestra di Hamming) per ridurre la dispersione spettrale.
Formula
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Calcolare la trasformata di Fourier veloce (FFT) di ciascun frame; applicare un banco di filtri triangolari spaziati sulla scala mel.
Formula
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Prendere il logaritmo della potenza sulla scala mel; applicare la trasformata discreta del coseno (DCT) per decorrelare le caratteristiche.
Formula
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Mantenere i primi 12-13 coefficienti MFCC (più le derivate delta e di accelerazione); utilizzare per classificazione o clustering.
Errori comuni
- Utilizzo di troppi o troppo pochi coefficienti MFCC; tipicamente 12-13 sono ottimali per il parlato
- Trascurare i coefficienti delta e di accelerazione; questi migliorano significativamente il riconoscimento vocale
- Mancata normalizzazione delle caratteristiche tra parlanti o condizioni; la normalizzazione z-score è essenziale
Domande frequenti
Perché usare la scala mel invece di Hz?
L'udito umano percepisce il tono in modo logaritmico, non lineare. La scala mel riflette questo: 1 mel corrisponde a 1 variazione di tono appena percettibile. Raggruppare le frequenze per scala mel cattura meglio le differenze percettive.
Cosa sono i coefficienti delta e di accelerazione?
I coefficienti delta catturano la velocità di variazione degli MFCC nel tempo; i coefficienti di accelerazione catturano la seconda derivata. Aggiungere questi agli MFCC statici migliora significativamente il riconoscimento vocale (vettore di caratteristiche ~39 numeri invece di 13).
Come scelgo il numero di coefficienti MFCC?
Per il parlato, 12-13 coefficienti statici sono standard. Includendo delta e accelerazioni, utilizzare 39-40 in totale (13 × 3). Per domini o frequenze di campionamento diversi, sperimentare; più coefficienti catturano più dettagli ma possono portare a overfitting.
Metodi correlati
Fonti
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Apri il riferimento DOICopiato.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Apri il riferimento della pubblicazioneCopiato.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Apri il riferimento della pubblicazioneCopiato.