倒谱分析
- 提出者
- Bogert, Healy, Tukey
- 年份
- 1963
- 类型
- Spectral decomposition method
- 类别
- Signal processing, Spectral analysis
本文为机器翻译,尚未经过审校。 阅读英文原文
它有什么作用?
倒谱分析是一种频谱分析技术,通过反转对数幅度谱将信号分解为独立分量。倒谱分析由Bogert、Healy和Tukey于1963年开创,它揭示了频谱中的周期性结构(音高、回声模式),并将激励源与滤波器响应分离。源自倒谱分析的梅尔频率倒谱系数(MFCCs)是自动语音识别、说话人验证和音频分析中最广泛使用的特征。
方法背后的直觉
有声语音的频谱在基频的倍数处(谐波)有峰值。如果对频谱取对数,然后进行另一次傅里叶变换(反转频谱分析),谐波将以与音高对应的滞后量显示为一个强峰。这就是倒谱分析:您应用两次FFT(或先取对数再FFT)以揭示隐藏的周期性。“倒谱”(cepstrum)一词是“频谱”(spectrum)的音节反转——它揭示了仅靠FFT无法显示的模式。
历史学
Bogert、Healy和Tukey于1963年引入倒谱,用于地球物理信号处理(地震回声检测)。该概念在1970年代至1980年代被应用于语音处理和音频分析。Davis和Mermelstein于1980年开创了梅尔频率倒谱系数(MFCCs),用于语音识别。MFCCs成为ASR系统的标准特征,并在语音和音频机器学习中保持主导地位。现代深度学习系统(CNNs、RNNs)通常使用梅尔频谱图(与倒谱分析相关)作为输入。
何时使用
将倒谱分析用于自动语音识别(ASR)、说话人验证/识别、音高检测、回声检测和音频特征提取。MFCCs是语音处理和音频机器学习领域事实上的标准。倒谱分析在音乐分析中较不常见(可能更偏好色度图或恒Q特征),但仍然适用。
局限与注意事项
- 倒谱分析假设卷积模型(乘性源-滤波器);高度非线性或非平稳信号无法很好地建模。
- MFCCs通过对数梅尔扭曲压缩信息;一些精细的频谱细节会丢失,影响低级任务(音乐分析、声源分离)。
- 通过倒谱进行音高检测仅限于有声语音;清辅音和摩擦音缺乏清晰的音高峰值。
- MFCCs对语音转换或说话人变形不具有不变性;它们随说话人特征而变化,需要对说话人无关任务进行归一化。
- 两次FFT的计算开销(先频谱后倒谱);对于非常实时或低功耗设备,可能更偏好更简单的特征。
来源中的条件不能替代独立的科学审查或分析引擎的验证。
优势
- 将卷积信号分解为加性分量;将源(音高、浊音)与滤波器(声道)特性分离。
- MFCCs对背景噪声和说话人变化具有鲁棒性;在对数梅尔空间中进行特征提取提供了自然的降维。
- 计算效率高:倒谱系数提取比从原始波形训练声学模型更快。
- 广泛标准化且经过验证;MFCCs是学术界和工业界在语音任务中公认的基线特征。
- 灵活性:倒谱分析适用于各种频率尺度(线性、梅尔、Bark),并且可以与许多其他技术(差分特征、升谱、归一化)结合使用。
应用
- 自动语音识别(ASR):MFCCs是隐马尔可夫模型(HMM)和深度学习ASR系统的典型特征。
- 说话人验证和识别:倒谱系数揭示说话人特有的声道特征;用于说话人生物识别系统。
- 音高检测和语音质量评估:倒谱在有声语音的音高滞后处出现峰值;无需显式音高跟踪即可进行基频估计。
- 音乐信息检索和流派分类:梅尔尺度频谱图上的倒谱特征可实现音乐相似性搜索和分类。
- 音频取证和说话人分析:倒谱特征描述说话人的情绪状态、疲劳和真实性,用于法律音频分析。
- 回声和混响检测:高滞后倒谱分量揭示多个回声(音高谐波、房间反射);用于声学环境表征。
使用方式
使用方式
记录或数字化音频信号(语音、音乐、环境声音);将信号分帧为重叠的窗(通常为20-50毫秒)。
应用预加重(高通滤波器)和窗函数(Hamming、Hann)。可选地,将频率扭曲到感知尺度(Mel或Bark)。
通过FFT或梅尔尺度滤波器组计算功率谱。取幅度对数(对数功率)。对对数谱应用逆DFT(或逆FFT)以获得倒谱。
分离倒谱分量:低滞后(倒频率)分量代表频谱包络(共振峰、滤波器);高滞后分量代表精细结构(谐波、音高)。截断高滞后分量以平滑频谱(升谱)。
提取倒谱系数(通常从倒谱中提取12-13个MFCC)。这些特征捕捉声道的特性(说话人身份、音素),同时抑制不相关的变化(音高、幅度、背景噪声)。
常见陷阱
- 假设MFCCs捕获所有相关的语音信息;它们针对ASR进行了优化,但可能遗漏其他任务(说话人情感、病理语音)的语音细节。
- 使用不当的升谱(截断);过度激进的升谱会平滑掉共振峰细节;升谱不足会保留音高伪影。
- 将倒谱与频谱混淆;倒谱是派生量(对数谱变换),而非原始频谱。解释不同。
- 忽略每个说话人的归一化;MFCCs在尺度和范围上因说话人而异;CMN(倒谱均值归一化)对于说话人无关系统至关重要。
- 过度依赖MFCCs而没有上下文特征(差分、加速度);静态MFCCs仅捕获瞬时频谱状态;时间动态通常很重要。
常见问题
频谱和倒谱有什么区别?
频谱是信号的频域表示(FFT输出)。倒谱是对数频谱的频谱(log|FFT|的FFT)。频谱显示存在哪些频率;倒谱显示频谱中存在哪些周期性。对于音高检测,倒谱在基频滞后(倒频率)处达到峰值。
为什么MFCCs在ASR中如此成功?
MFCCs结合了梅尔尺度频率扭曲(匹配听觉感知)和倒谱分析(分离源和滤波器)。结果是一个低维特征(每帧12-13个标量),它捕获了语音相关信息,同时对噪声和说话人变化具有鲁棒性。数十年的ASR系统调优优化了MFCC的使用。
什么是倒谱均值归一化(CMN)?
CMN从每一帧中减去平均MFCC向量(在一次发音或会话中平均)。这可以归一化说话人特有的偏移并提高说话人无关性。CMN在对一个说话人进行训练并在另一个说话人上进行测试时至关重要;它减少了由于说话人身份引起的特征方差,保留了语音内容。
如何使用倒谱分析检测音高?
计算语音帧的倒谱。对于有声语音,在等于基频周期的倒频率(滞后)处会出现一个显著的峰值。与此滞后对应的频率就是音高。无声帧缺乏清晰的峰值。后处理(浊音检测、连续性跟踪)可细化音高估计。
倒谱分析能否检测房间混响和回声?
是的。在混响环境中,倒谱显示多个峰值:一个在直接声音滞后(0)处,其他在与回声对应的滞后处。这些高滞后峰值揭示了混响时间和回声模式。倒谱峰值分析用于声学环境表征和房间脉冲响应估计。
相关方法
参考文献
Bogert, B. P., Healy, M. J., & Tukey, J. W. (1963). The quefrency alanysis of time series for echoes: cepstrum, pseudo-autocovariance, cross-cepstrum, and saphe cracking. In Time Series Analysis Research Papers (pp. 209–243). Wiley.
打开出版物文献已复制。Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357–366.
打开 DOI 文献已复制。Rabiner, L. R., & Juang, B. H. (1993). Fundamentals of Speech Recognition. Prentice-Hall.
ISBN:978-0130156099已复制。