Coefficients Cepstraux Fréquentiels Mel (MFCC)
- Introduite par
- Steven Davis, Paul Mermelstein
- Année
- 1980
- Type
- Audio feature extraction algorithm
- Famille
- Audio Signal Processing
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
Les coefficients cepstraux fréqueniels Mel (MFCC) constituent une représentation compacte de caractéristiques audio qui imitent la perception auditive humaine.
Introduits par Davis et Mermelstein en 1980, les MFCC sont la méthode d'extraction de caractéristiques de facto pour la reconnaissance vocale et l'analyse des sons environnementaux. Ils compressent l'information fréquentielle des signaux audio en un petit ensemble de coefficients qui capturent le contenu phonétique tout en écartant les détails non pertinents.
L’intuition derrière la méthode
L'audition humaine n'est pas linéaire en fréquence ; nous percevons la hauteur tonale de manière logarithmique et sommes plus sensibles aux basses fréquences. Les MFCC exploitent cela : au lieu d'utiliser une échelle de fréquence linéaire (Hz), ils utilisent l'échelle Mel, qui déforme la fréquence pour correspondre à la perception humaine. L'audio est décomposé par fréquence, transformé sur l'échelle Mel, compressé par logarithme et transformée cosinus, produisant environ 13 nombres qui capturent la 'forme' du spectre. Ces nombres sont remarquablement stables entre les locuteurs et robustes au bruit, ce qui les rend idéaux pour le traitement de la parole.
Histoire
Davis et Mermelstein ont publié les MFCC en 1980, s'appuyant sur des travaux antérieurs sur l'échelle Mel et l'analyse cepstrale. Les MFCC sont devenus la norme en reconnaissance vocale dans les années 1990-2000, utilisés dans des systèmes comme HTK et Sphinx. Avec l'essor de l'apprentissage profond, les MFCC restent populaires comme caractéristiques d'entrée pour les réseaux neuronaux, bien que les représentations apprises (par exemple, à partir de spectrogrammes) soient de plus en plus compétitives.
Quand l’utiliser
Utiliser les MFCC pour la reconnaissance vocale, l'identification du locuteur, la détection d'émotions et la classification des sons environnementaux. Ils constituent la norme industrielle pour les systèmes de reconnaissance vocale automatique (ASR) et les modèles d'apprentissage profond. Appliquer aux signaux audio avec une parole claire ou une structure environnementale. Éviter pour l'analyse musicale sans modification (la musique nécessite des caractéristiques différentes comme le flux spectral ou le chroma).
Limites et points d’attention
- Écarte l'information de phase ; impossible de reconstruire l'audio à partir des seuls MFCC
- Suppose la stationnarité au sein des trames ; les caractéristiques à court terme manquent les motifs à plus long terme (surmonté par delta/accélération)
- Pas optimal pour la musique ; les caractéristiques musicales (centroïde spectral, chroma, etc.) sont souvent meilleures
- Sensible aux caractéristiques du microphone et au bruit de fond (nécessite une normalisation)
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Représentation compacte (~13 coefficients par trame) réduisant le coût de calcul et le stockage
- Alignée avec la perception auditive humaine ; capture les informations perceptuellement importantes
- Robuste à la variabilité du locuteur et au bruit modéré
- Largement implémentée dans les cadres de reconnaissance vocale (HTK, Kaldi, TensorFlow)
Applications
- Reconnaissance vocale automatique dans les appareils grand public (assistants vocaux, dictée)
- Identification et vérification du locuteur pour les applications de sécurité
- Reconnaissance des émotions à partir de la parole dans les applications de service client et de santé mentale
- Classification des sons environnementaux pour la surveillance et le suivi acoustique
Comment ça marche
Comment ça marche
Enregistrer le signal audio à une fréquence d'échantillonnage standard (typiquement 16 kHz pour la parole).
Diviser l'audio en courtes trames (20-40 ms, avec chevauchement) ; appliquer une fonction de fenêtrage (fenêtre de Hamming) pour réduire la fuite spectrale.
Formule
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Calculer la transformée de Fourier rapide (FFT) de chaque trame ; appliquer une banque de filtres triangulaires espacés sur l'échelle Mel.
Formule
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Prendre le logarithme de la puissance sur l'échelle Mel ; appliquer la transformée cosinus discrète (DCT) pour décorréler les caractéristiques.
Formule
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Conserver les 12-13 premiers coefficients MFCC (plus les dérivées delta et accélération) ; utiliser pour la classification ou le regroupement.
Pièges courants
- Utiliser trop peu ou trop de coefficients MFCC ; typiquement 12-13 sont optimaux pour la parole
- Négliger les coefficients delta et accélération ; ceux-ci améliorent significativement la reconnaissance vocale
- Omettre de normaliser les caractéristiques entre les locuteurs ou les conditions ; la normalisation par score Z est essentielle
Questions fréquentes
Pourquoi utiliser l'échelle Mel au lieu de Hz ?
L'audition humaine perçoit la hauteur tonale de manière logarithmique, et non linéaire. L'échelle Mel reflète cela : 1 Mel correspond à un changement de hauteur tonale juste perceptible. Le regroupement des fréquences par échelle Mel capture mieux les différences perceptuelles.
Que sont les coefficients delta et accélération ?
Les coefficients delta capturent le taux de changement des MFCC dans le temps ; les coefficients accélération capturent la seconde dérivée. L'ajout de ceux-ci aux MFCC statiques améliore significativement la reconnaissance vocale (vecteur de caractéristiques d'environ 39 nombres au lieu de 13).
Comment choisir le nombre de coefficients MFCC ?
Pour la parole, 12-13 coefficients statiques sont standards. En incluant les deltas et les accélérations, utiliser 39-40 au total (13 × 3). Pour différents domaines ou fréquences d'échantillonnage, expérimenter ; plus de coefficients capturent plus de détails mais peuvent entraîner un surajustement.
Méthodes associées
Sources
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Ouvrir la référence DOICopié.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Ouvrir la référence de la publicationCopié.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Ouvrir la référence de la publicationCopié.