İçeriğe atla
Arama sonuçlarına dön

MFCC (Mel-Frekans Kepstral Katsayıları)

Ortaya koyan
Steven Davis, Paul Mermelstein
Yıl
1980
Tür
Audio feature extraction algorithm
Aile
Audio Signal Processing

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Mel-Frekans Kepstral Katsayıları (MFCC'ler), insan işitsel algısını taklit eden ses özelliklerinin kompakt bir temsilidir.

Davis ve Mermelstein tarafından 1980'de tanıtılan MFCC'ler, konuşma tanıma ve çevresel ses analizi için fiili özellik çıkarma yöntemidir. Ses sinyallerinin frekans bilgisini, fonetik içeriği yakalayan ve ilgisiz ayrıntıları atan küçük bir katsayı kümesine sıkıştırırlar.

Yöntemin mantığı

İnsan işitmesi frekansta doğrusal değildir; perdenin logaritmik olarak algılarız ve düşük frekanslara daha duyarlıyız. MFCC'ler bunu kullanır: doğrusal bir frekans ölçeği (Hz) kullanmak yerine, insan algısına uyacak şekilde frekansı büken mel ölçeğini kullanırlar. Ses, frekansa göre ayrıştırılır, mel ölçeğine dönüştürülür, logaritma ve kosinüs dönüşümü ile sıkıştırılır ve spektrumun 'şeklini' yakalayan yaklaşık 13 sayı elde edilir. Bu sayılar konuşmacılar arasında oldukça kararlıdır ve gürültüye karşı dayanıklıdır, bu da onları konuşma işlemesi için ideal kılar.

Tarih

Davis ve Mermelstein, MFCC'leri 1980'de, önceki mel ölçeği çalışmaları ve kepstral analiz üzerine inşa ederek yayınladılar. MFCC'ler, 1990'lar-2000'lerde HTK ve Sphinx gibi sistemlerde kullanılarak konuşma tanımada standart haline geldi. Derin öğrenmenin yükselişiyle birlikte, MFCC'ler sinir ağlarına girdi özellikleri olarak popülerliğini koruyor, ancak öğrenilmiş temsiller (örneğin, spektrogramlardan) giderek daha rekabetçi hale geliyor.

Ne zaman kullanılır?

MFCC'leri konuşma tanıma, konuşmacı tanımlama, duygu tespiti ve çevresel ses sınıflandırması için kullanın. Otomatik konuşma tanıma (ASR) sistemleri ve derin öğrenme modelleri için endüstri standardıdırlar. Açık konuşma veya çevresel yapıya sahip ses sinyallerine uygulayın. Modifikasyon olmadan müzik analizi için kaçının (müzik spektral akı veya kroma gibi farklı özellikler gerektirir).

Sınırlar ve dikkat edilmesi gerekenler

  • Faz bilgisini atar; ses tek başına MFCC'lerden yeniden oluşturulamaz
  • Çerçeveler içindeki durağanlığı varsayar; kısa vadeli özellikler uzun vadeli desenleri kaçırır (delta/ivme ile üstesinden gelinir)
  • Müzik için optimal değil; müzik özellikleri (spektral merkez, kroma vb.) genellikle daha iyidir
  • Mikrofon özelliklerine ve arka plan gürültüsüne duyarlı (normalleştirme gerektirir)

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Kompakt temsil (~ çerçeve başına 13 katsayı) hesaplama maliyetini ve depolamayı azaltır
  • İnsan işitsel algısıyla uyumlu; algısal olarak önemli bilgileri yakalar
  • Konuşmacı değişkenliğine ve orta düzey gürültüye karşı dayanıklı
  • Konuşma tanıma çerçevelerinde (HTK, Kaldi, TensorFlow) yaygın olarak uygulanmıştır

Uygulama alanları

  • Tüketici cihazlarında otomatik konuşma tanıma (sesli asistanlar, dikte)
  • Güvenlik uygulamaları için konuşmacı tanımlama ve doğrulama
  • Müşteri hizmetleri ve ruh sağlığı uygulamalarında konuşmadan duygu tanıma
  • Gözetim ve akustik izleme için çevresel ses sınıflandırması

Nasıl çalışır?

Nasıl çalışır?

1

Ses sinyalini standart bir örnekleme hızında (konuşma için tipik olarak 16 kHz) kaydedin.

2

Sesi kısa çerçevelere (20-40 ms, örtüşen) bölün; spektral sızıntıyı azaltmak için bir pencereleme fonksiyonu (Hamming penceresi) uygulayın.

Formül
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}
3

Her çerçevenin hızlı Fourier dönüşümünü (FFT) hesaplayın; mel ölçeğinde aralıklı üçgen filtrelerden oluşan bir banka uygulayın.

Formül
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}
4

Mel ölçekli gücün logaritmasını alın; özellikleri ilişkilendirmek için ayrık kosinüs dönüşümünü (DCT) uygulayın.

Formül
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}
5

İlk 12-13 MFCC katsayısını (artı delta ve ivme türevleri) saklayın; sınıflandırma veya kümeleme için kullanın.

Sık yapılan hatalar

  • Çok fazla veya çok az MFCC katsayısı kullanmak; tipik olarak konuşma için 12-13 optimaldir
  • Delta ve ivme katsayılarını ihmal etmek; bunlar konuşma tanımayı önemli ölçüde iyileştirir
  • Konuşmacılar veya koşullar arasında özellikleri normalleştirmeyi başaramamak; z-puanı normalleştirmesi esastır

Sık sorulan sorular

Hz yerine neden mel ölçeği kullanılır?

İnsan işitmesi perdenin doğrusal değil, logaritmik olarak algılar. Mel ölçeği bunu yansıtır: 1 mel, perdedeki 1 fark edilebilen değişiklik'e karşılık gelir. Frekansları mel ölçeğine göre gruplandırmak algısal farklılıkları daha iyi yakalar.

Delta ve ivme katsayıları nelerdir?

Delta katsayıları, MFCC'lerin zaman içindeki değişim oranını; ivme katsayıları ise ikinci türevi yakalar. Bunları statik MFCC'lere eklemek, konuşma tanımayı önemli ölçüde iyileştirir (özellik vektörü yaklaşık 13 yerine 39 sayı).

Kaç tane MFCC katsayısı seçeceğime nasıl karar veririm?

Konuşma için 12-13 statik katsayı standarttır. Deltalar ve ivmeler dahil olmak üzere toplam 39-40 (13 × 3) kullanın. Farklı alanlar veya örnekleme hızları için deney yapın; daha fazla katsayı daha fazla ayrıntı yakalar ancak aşırı uyum sağlayabilir.

İlgili yöntemler

Kaynaklar

  1. Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.

    DOI kaynağını aç
    Kopyalandı.
  2. Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.

    Yayın kaynağını aç
    Kopyalandı.
  3. Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.

    Yayın kaynağını aç
    Kopyalandı.