Skip to content
返回搜索结果

MFCC(梅尔频率倒谱系数)

提出者
Steven Davis, Paul Mermelstein
年份
1980
类型
Audio feature extraction algorithm
类别
Audio Signal Processing

本文为机器翻译,尚未经过审校。 阅读英文原文

字号

它有什么作用?

梅尔频率倒谱系数(MFCCs)是一种模仿人类听觉感知的音频特征紧凑表示。MFCCs由Davis和Mermelstein于1980年提出,是语音识别和环境声音分析的事实上的特征提取方法。它们将音频信号的频率信息压缩成一小组系数,这些系数捕捉了语音内容,同时丢弃了不相关的细节。

方法背后的直觉

人类听觉对频率的感知不是线性的;我们以对数方式感知音高,并且对较低频率更敏感。MFCCs利用了这一点:它们不使用线性频率刻度(Hz),而是使用梅尔刻度,该刻度扭曲频率以匹配人类感知。音频按频率分解,转换为梅尔刻度,通过对数和余弦变换进行压缩,得到约13个数字,这些数字捕捉了频谱的“形状”。这些数字在不同说话人之间非常稳定,并且对噪声具有鲁棒性,这使得它们成为语音处理的理想选择。

历史学

Davis和Mermelstein于1980年发表了MFCCs,借鉴了早期的梅尔尺度工作和倒谱分析。MFCCs在20世纪90年代至21世纪初成为语音识别的标准,用于HTK和Sphinx等系统。随着深度学习的兴起,MFCCs作为神经网络的输入特征仍然很受欢迎,尽管学习到的表示(例如,来自频谱图)正变得越来越有竞争力。

何时使用

将MFCCs用于语音识别、说话人识别、情绪检测和环境声音分类。它们是自动语音识别(ASR)系统和深度学习模型的行业标准。应用于具有清晰语音或环境结构的音频信号。避免用于音乐分析(除非修改)(音乐需要不同的特征,如频谱通量或色度)。

局限与注意事项

  • 丢弃了相位信息;仅凭MFCCs无法重建音频
  • 假设帧内是平稳的;短期特征会错过长期模式(可通过差分/加速度克服)
  • 不适合音乐;音乐特征(如频谱质心、色度等)通常更好
  • 对麦克风特性和背景噪声敏感(需要归一化)

来源中的条件不能替代独立的科学审查或分析引擎的验证。

优势

  • 紧凑的表示(每帧约13个系数)降低了计算成本和存储需求
  • 与人类听觉感知一致;捕捉感知上重要的信息
  • 对说话人变化和中度噪声具有鲁棒性
  • 在语音识别框架(HTK、Kaldi、TensorFlow)中广泛实现

应用

  • 消费设备中的自动语音识别(语音助手、听写)
  • 用于安全应用的说话人识别和验证
  • 在客户服务和心理健康应用中从语音识别情绪
  • 用于监控和声学监测的环境声音分类

使用方式

使用方式

1

以标准采样率(语音通常为16 kHz)录制音频信号。

2

将音频分成短帧(20-40毫秒,有重叠);应用窗函数(汉明窗)以减少频谱泄漏。

公式
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}
3

计算每帧的快速傅里叶变换(FFT);应用一组在梅尔刻度上间隔开的三角滤波器。

公式
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}
4

取梅尔尺度功率的对数;应用离散余弦变换(DCT)以去相关特征。

公式
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}
5

保留前12-13个MFCC系数(加上差分和加速度导数);用于分类或聚类。

常见陷阱

  • 使用过多或过少的MFCC系数;通常12-13个对于语音是最佳的
  • 忽略差分和加速度系数;这些系数显著提高了语音识别性能
  • 未能跨说话人或条件进行特征归一化;Z分数归一化至关重要

常见问题

为什么使用梅尔刻度而不是Hz?

人类听觉以对数方式感知音高,而不是线性方式。梅尔刻度反映了这一点:1梅尔对应于音高上1个最小可觉察的变化。按梅尔刻度对频率进行分组能更好地捕捉感知上的差异。

什么是差分和加速度系数?

差分系数捕捉MFCCs随时间的变化率;加速度系数捕捉二阶导数。将这些添加到静态MFCCs中可以显著提高语音识别性能(特征向量约39个数字,而不是13个)。

如何选择MFCC系数的数量?

对于语音,12-13个静态系数是标准配置。包括差分和加速度,总共使用39-40个(13 × 3)。对于不同的领域或采样率,可以进行实验;更多的系数可以捕捉更多细节,但可能导致过拟合。

相关方法

参考文献

  1. Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.

    打开 DOI 文献
    已复制。
  2. Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.

    打开出版物文献
    已复制。
  3. Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.

    打开出版物文献
    已复制。