メル周波数ケプストラム係数(MFCC)
- 提唱者
- Steven Davis, Paul Mermelstein
- 年
- 1980
- 種類
- Audio feature extraction algorithm
- 系統
- Audio Signal Processing
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
メル周波数ケプストラム係数(MFCC)は、人間の聴覚知覚を模倣した音声特徴量のコンパクトな表現です。1980年にDavisとMermelsteinによって導入されたMFCCは、音声認識および環境音分析における事実上の特徴抽出方法となっています。これらは、音声信号の周波数情報を少数の係数に圧縮し、無関係な詳細を破棄しながら音韻内容を捉えます。
手法の背後にある直感
人間の聴覚は周波数に対して線形ではありません。私たちはピッチを対数的に知覚し、低周波数により敏感です。MFCCはこの性質を利用しています。線形周波数スケール(Hz)を使用する代わりに、人間の知覚に一致するように周波数を歪ませるメルスケールを使用します。音声は周波数ごとに分解され、メルスケールに変換され、対数およびコサイン変換によって圧縮され、スペクトルの「形状」を捉える約13個の数値が得られます。これらの数値は話者間で驚くほど安定しており、ノイズに対してもロバストであるため、音声処理に理想的です。
歴史学
DavisとMermelsteinは、1980年にMFCCを発表しました。これは、初期のメルスケール作業とケプストラム分析に基づいています。MFCCは、HTKやSphinxなどのシステムで使用され、1990年代から2000年代にかけて音声認識の標準となりました。ディープラーニングの台頭により、MFCCはニューラルネットワークへの入力特徴量として人気を保っていますが、学習された表現(例:スペクトログラムからのもの)がますます競争力を増しています。
使うべき場面
音声認識、話者識別、感情検出、環境音分類にMFCCを使用します。これらは、自動音声認識(ASR)システムおよびディープラーニングモデルの業界標準です。明瞭な音声または環境構造を持つ音声信号に適用します。音楽分析には、変更なしでは避けてください(音楽にはスペクトルフラックスやクロマなどの異なる特徴量が必要です)。
限界と注意点
- 位相情報を破棄するため、MFCCのみから音声を再構築することはできません
- フレーム内の定常性を仮定しており、短期特徴量は長期的なパターン(デルタ/加速度で克服可能)を見逃します
- 音楽には最適ではありません。音楽特徴量(スペクトルセントロイド、クロマなど)の方がしばしば優れています
- マイク特性や背景ノイズに敏感です(正規化が必要です)
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- コンパクトな表現(フレームあたり約13係数)により、計算コストとストレージが削減されます
- 人間の聴覚知覚と一致しており、知覚的に重要な情報を捉えます
- 話者のばらつきや中程度のノイズに対してロバストです
- 音声認識フレームワーク(HTK、Kaldi、TensorFlow)に広く実装されています
応用
- 消費者向けデバイスでの自動音声認識(音声アシスタント、ディクテーション)
- セキュリティアプリケーションのための話者識別および検証
- カスタマーサービスおよびメンタルヘルスアプリケーションにおける音声からの感情認識
- 監視および音響モニタリングのための環境音分類
使い方
使い方
標準的なサンプルレート(音声の場合は通常16 kHz)で音声信号を記録します。
音声を短いフレーム(20〜40 ms、オーバーラップあり)に分割し、スペクトル漏れを低減するために窓関数(ハミング窓)を適用します。
数式
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}各フレームの高速フーリエ変換(FFT)を計算し、メルスケール上に配置された三角フィルターバンクを適用します。
数式
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}メルスケール電力の対数を取得し、離散コサイン変換(DCT)を適用して特徴量をデ相関させます。
数式
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}最初の12〜13個のMFCC係数(デルタおよび加速度の導関数を含む)を保持し、分類またはクラスタリングに使用します。
よくある落とし穴
- MFCC係数が多すぎるか少なすぎる。通常、音声には12〜13個が最適です
- デルタ係数および加速度係数を無視すること。これらは音声認識を大幅に改善します
- 話者間または条件間での特徴量の正規化に失敗すること。zスコア正規化が不可欠です
よくある質問
なぜHzではなくメルスケールを使用するのですか?
人間の聴覚は、線形ではなく対数的にピッチを知覚します。メルスケールはこのことを反映しています。1メルは、ピッチの1つのちょうど知覚可能な変化に対応します。メルスケールで周波数をグループ化すると、知覚的な違いがよりよく捉えられます。
デルタ係数および加速度係数とは何ですか?
デルタ係数は時間経過に伴うMFCCの変化率を捉え、加速度係数は二次導関数を捉えます。これらを静的MFCCに追加すると、音声認識が大幅に改善されます(特徴ベクトルは約13個ではなく約39個)。
MFCC係数の数はどのように選択しますか?
音声の場合、12〜13個の静的係数が標準です。デルタと加速度を含めると、合計で39〜40個(13 x 3)を使用します。異なるドメインやサンプルレートの場合は、実験してください。係数が多いほど詳細を捉えますが、過学習する可能性があります。
関連する手法
参考文献
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
DOI 文献を開くコピーしました。Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
出版物の文献を開くコピーしました。Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
出版物の文献を開くコピーしました。