Coeficientes Cepstrais de Frequência Mel (MFCCs)
- Proposto por
- Steven Davis, Paul Mermelstein
- Ano
- 1980
- Tipo
- Audio feature extraction algorithm
- Família
- Audio Signal Processing
Este texto é uma tradução automática e ainda não foi revisado. Ler o original em inglês
O que ele faz?
Os Coeficientes Cepstrais de Frequência Mel (MFCCs) são uma representação compacta de características de áudio que imitam a percepção auditiva humana.
Introduzidos por Davis e Mermelstein em 1980, os MFCCs são o método de extração de características de facto para reconhecimento de fala e análise de sons ambientais. Eles comprimem a informação de frequência de sinais de áudio num pequeno conjunto de coeficientes que capturam o conteúdo fonético, descartando detalhes irrelevantes.
A intuição por trás do método
A audição humana não é linear em frequência; percebemos o tom de forma logarítmica e somos mais sensíveis a frequências mais baixas. Os MFCCs exploram isso: em vez de usar uma escala de frequência linear (Hz), eles usam a escala mel, que distorce a frequência para corresponder à percepção humana. O áudio é decomposto por frequência, transformado para a escala mel, comprimido via logaritmo e transformada de cosseno, resultando em ~13 números que capturam a 'forma' do espectro. Estes números são notavelmente estáveis entre falantes e robustos a ruído, tornando-os ideais para processamento de fala.
História
Davis e Mermelstein publicaram os MFCCs em 1980, baseando-se em trabalhos anteriores sobre a escala mel e análise cepstral. Os MFCCs tornaram-se o padrão no reconhecimento de fala durante as décadas de 1990-2000, usados em sistemas como HTK e Sphinx. Com o advento da aprendizagem profunda, os MFCCs permanecem populares como características de entrada para redes neurais, embora representações aprendidas (por exemplo, a partir de espectrogramas) sejam cada vez mais competitivas.
Quando usar
Usar MFCCs para reconhecimento de fala, identificação de locutor, deteção de emoção e classificação de sons ambientais. São o padrão da indústria para sistemas de reconhecimento automático de fala (ASR) e modelos de aprendizagem profunda. Aplicar a sinais de áudio com fala clara ou estrutura ambiental. Evitar para análise de música sem modificação (música requer características diferentes, como fluxo espectral ou croma).
Limitações e considerações
- Descarta informação de fase; não é possível reconstruir áudio apenas a partir de MFCCs
- Assume estacionariedade dentro dos quadros; características de curto prazo perdem padrões de longo prazo (superado com delta/aceleração)
- Não é ótimo para música; características musicais (centroide espectral, croma, etc.) são frequentemente melhores
- Sensível às características do microfone e ao ruído de fundo (requer normalização)
As condições da fonte não substituem a revisão científica independente nem a validação por um motor de análise.
Pontos fortes
- Representação compacta (~13 coeficientes por quadro) reduz o custo computacional e o armazenamento
- Alinhado com a percepção auditiva humana; captura informações perceptualmentes importantes
- Robusto à variabilidade do falante e a ruído moderado
- Amplamente implementado em frameworks de reconhecimento de fala (HTK, Kaldi, TensorFlow)
Aplicações
- Reconhecimento automático de fala em dispositivos de consumo (assistentes de voz, ditado)
- Identificação e verificação de locutor para aplicações de segurança
- Reconhecimento de emoção a partir da fala em aplicações de atendimento ao cliente e saúde mental
- Classificação de sons ambientais para vigilância e monitoramento acústico
Como funciona
Como funciona
Gravar o sinal de áudio a uma taxa de amostragem padrão (tipicamente 16 kHz para fala).
Dividir o áudio em quadros curtos (20-40 ms, sobrepostos); aplicar uma função de janelamento (janela de Hamming) para reduzir o vazamento espectral.
Fórmula
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Calcular a transformada de Fourier rápida (FFT) de cada quadro; aplicar um banco de filtros triangulares espaçados na escala mel.
Fórmula
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Obter o logaritmo da potência na escala mel; aplicar a transformada discreta de cosseno (DCT) para descorrelacionar as características.
Fórmula
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Reter os primeiros 12-13 coeficientes MFCC (mais derivadas de delta e aceleração); usar para classificação ou agrupamento.
Erros comuns
- Uso de um número excessivo ou insuficiente de coeficientes MFCC; tipicamente 12-13 são ótimos para fala
- Negligência dos coeficientes delta e aceleração; estes melhoram significativamente o reconhecimento de fala
- Falha na normalização das características entre falantes ou condições; a normalização por z-score é essencial
Perguntas frequentes
Por que usar a escala mel em vez de Hz?
A audição humana percebe o tom de forma logarítmica, não linear. A escala mel reflete isso: 1 mel corresponde a 1 variação de tom apenas-perceptível. Agrupar frequências pela escala mel captura melhor as diferenças perceptuais.
O que são coeficientes delta e aceleração?
Os coeficientes delta capturam a taxa de variação dos MFCCs ao longo do tempo; os coeficientes de aceleração capturam a segunda derivada. Adicionar estes aos MFCCs estáticos melhora significativamente o reconhecimento de fala (vetor de características de ~39 números em vez de 13).
Como escolho o número de coeficientes MFCC?
Para fala, 12-13 coeficientes estáticos são padrão. Incluindo deltas e acelerações, use 39-40 no total (13 × 3). Para domínios ou taxas de amostragem diferentes, experimente; mais coeficientes capturam mais detalhes, mas podem levar a sobreajuste (overfitting).
Métodos relacionados
Fontes
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Abrir referência DOICopiado.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Abrir referência da publicaçãoCopiado.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Abrir referência da publicaçãoCopiado.