Współczynniki cepstralne częstotliwości Mel (MFCC)
- Autor metody
- Steven Davis, Paul Mermelstein
- Rok
- 1980
- Typ
- Audio feature extraction algorithm
- Rodzina
- Audio Signal Processing
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Współczynniki cepstralne częstotliwości Mel (MFCC) to zwarta reprezentacja cech dźwiękowych, która naśladuje ludzką percepcję słuchową.
Wprowadzone przez Davisa i Mermelsteina w 1980 roku, MFCC są de facto metodą ekstrakcji cech w rozpoznawaniu mowy i analizie dźwięków otoczenia. Kompresują one informację częstotliwościową sygnałów audio do małego zbioru współczynników, które wychwytują treść fonetyczną, jednocześnie odrzucając nieistotne szczegóły.
Intuicja stojąca za metodą
Ludzkie słyszenie nie jest liniowe względem częstotliwości; odbieramy wysokość dźwięku logarytmicznie i jesteśmy bardziej wrażliwi na niższe częstotliwości. MFCC to wykorzystują: zamiast używać liniowej skali częstotliwości (Hz), stosują skalę Mel, która deformuje częstotliwość, aby dopasować ją do ludzkiej percepcji. Dźwięk jest rozkładany według częstotliwości, transformowany do skali Mel, kompresowany za pomocą transformacji logarytmicznej i cosinusowej, dając około 13 liczb, które oddają „kształt” widma. Te liczby są niezwykle stabilne między mówcami i odporne na szum, co czyni je idealnymi do przetwarzania mowy.
Historia
Davis i Mermelstein opublikowali MFCC w 1980 roku, opierając się na wcześniejszych pracach nad skalą Mel i analizą cepstralną. MFCC stały się standardem w rozpoznawaniu mowy w latach 90. i 2000., używanym w systemach takich jak HTK i Sphinx. Wraz z rozwojem uczenia głębokiego, MFCC pozostają popularnymi cechami wejściowymi dla sieci neuronowych, chociaż reprezentacje uczone (np. ze spektrogramów) stają się coraz bardziej konkurencyjne.
Kiedy stosować
Wykorzystanie MFCC do rozpoznawania mowy, identyfikacji mówcy, detekcji emocji i klasyfikacji dźwięków otoczenia. Są one standardem branżowym dla systemów automatycznego rozpoznawania mowy (ASR) i modeli uczenia głębokiego. Stosowanie do sygnałów audio z wyraźną mową lub strukturą otoczenia. Unikać analizy muzyki bez modyfikacji (muzyka wymaga innych cech, takich jak strumień widmowy czy chroma).
Ograniczenia i uwagi
- Odrzucenie informacji o fazie; niemożność odtworzenia dźwięku wyłącznie z MFCC.
- Założenie stacjonarności w obrębie ramek; cechy krótkoterminowe pomijają długoterminowe wzorce (można to przezwyciężyć za pomocą pochodnych prędkości i przyspieszenia).
- Nieoptymalne dla muzyki; cechy muzyczne (środek ciężkości widmowy, chroma itp.) są często lepsze.
- Wrażliwość na charakterystykę mikrofonu i szum tła (wymaga normalizacji).
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Zwięzła reprezentacja (~13 współczynników na ramkę) zmniejsza koszt obliczeniowy i zapotrzebowanie na pamięć.
- Dopasowanie do ludzkiej percepcji słuchowej; wychwytywanie informacji o znaczeniu percepcyjnym.
- Odporność na zmienność mówcy i umiarkowany szum.
- Szeroko zaimplementowane w ramach rozpoznawania mowy (HTK, Kaldi, TensorFlow).
Zastosowania
- Automatyczne rozpoznawanie mowy w urządzeniach konsumenckich (asystenci głosowi, dyktowanie).
- Identyfikacja i weryfikacja mówcy w zastosowaniach bezpieczeństwa.
- Rozpoznawanie emocji z mowy w zastosowaniach obsługi klienta i zdrowia psychicznego.
- Klasyfikacja dźwięków otoczenia do monitorowania i nadzoru akustycznego.
Jak to działa
Jak to działa
Nagraj sygnał audio ze standardową częstotliwością próbkowania (zwykle 16 kHz dla mowy).
Podziel sygnał audio na krótkie ramki (20-40 ms, z nakładaniem się); zastosuj funkcję okna (okno Hamminga) w celu zmniejszenia wycieku widmowego.
Wzór
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Oblicz szybką transformatę Fouriera (FFT) dla każdej ramki; zastosuj bank filtrów trójkątnych rozmieszczonych na skali Mel.
Wzór
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Weź logarytm mocy w skali Mel; zastosuj dyskretną transformatę cosinusową (DCT) w celu dekorrelacji cech.
Wzór
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Zachowaj pierwsze 12-13 współczynników MFCC (plus pochodne prędkości i przyspieszenia); użyj do klasyfikacji lub klasteryzacji.
Częste pułapki
- Użycie zbyt wielu lub zbyt małej liczby współczynników MFCC; zazwyczaj 12-13 jest optymalne dla mowy.
- Pominięcie współczynników prędkości i przyspieszenia; znacznie poprawiają one rozpoznawanie mowy.
- Niewłaściwa normalizacja cech między mówcami lub warunkami; normalizacja z-score jest kluczowa.
Najczęściej zadawane pytania
Dlaczego używać skali Mel zamiast Hz?
Ludzkie słyszenie odbiera wysokość dźwięku logarytmicznie, a nie liniowo. Skala Mel odzwierciedla to: 1 Mel odpowiada 1 zauważalnej zmianie wysokości dźwięku. Grupowanie częstotliwości według skali Mel lepiej oddaje różnice percepcyjne.
Czym są współczynniki prędkości i przyspieszenia?
Współczynniki prędkości (delta) wychwytują tempo zmian MFCC w czasie; współczynniki przyspieszenia (delta-delta) wychwytują drugą pochodną. Dodanie ich do statycznych MFCC znacząco poprawia rozpoznawanie mowy (wektor cech ~39 liczb zamiast 13).
Jak wybrać liczbę współczynników MFCC?
Dla mowy standardem jest 12-13 współczynników statycznych. Włączając pochodne prędkości i przyspieszenia, użyj łącznie 39-40 (13 × 3). Dla różnych domen lub częstotliwości próbkowania eksperymentuj; więcej współczynników wychwytuje więcej szczegółów, ale może prowadzić do nadmiernego dopasowania.
Pokrewne metody
Źródła
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Otwórz odnośnik DOISkopiowano.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Otwórz odnośnik do publikacjiSkopiowano.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Otwórz odnośnik do publikacjiSkopiowano.