Koefisien Cepstral Frekuensi Mel (MFCC)
- Diperkenalkan oleh
- Steven Davis, Paul Mermelstein
- Tahun
- 1980
- Jenis
- Audio feature extraction algorithm
- Keluarga
- Audio Signal Processing
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Koefisien Cepstral Frekuensi Mel (MFCC) adalah representasi ringkas dari fitur audio yang meniru persepsi auditori manusia.
Diperkenalkan oleh Davis dan Mermelstein pada tahun 1980, MFCC adalah metode ekstraksi fitur de facto untuk pengenalan ucapan dan analisis suara lingkungan. MFCC mengompresi informasi frekuensi sinyal audio menjadi sekumpulan kecil koefisien yang menangkap konten fonetik sambil membuang detail yang tidak relevan.
Intuisi di balik metode
Pendengaran manusia tidak linier dalam frekuensi; kita mempersepsikan nada secara logaritmik, dan kita lebih sensitif terhadap frekuensi yang lebih rendah. MFCC memanfaatkan ini: alih-alih menggunakan skala frekuensi linier (Hz), MFCC menggunakan skala mel, yang mendistorsi frekuensi agar sesuai dengan persepsi manusia. Audio diuraikan berdasarkan frekuensi, ditransformasi ke skala mel, dikompresi melalui transformasi logaritma dan kosinus, menghasilkan ~13 angka yang menangkap 'bentuk' spektrum. Angka-angka ini sangat stabil di antara pembicara dan kuat terhadap kebisingan, menjadikannya ideal untuk pemrosesan ucapan.
Sejarah
Davis dan Mermelstein menerbitkan MFCC pada tahun 1980, mengacu pada karya skala mel sebelumnya dan analisis cepstral. MFCC menjadi standar dalam pengenalan ucapan selama tahun 1990-an-2000-an, digunakan dalam sistem seperti HTK dan Sphinx. Dengan maraknya pembelajaran mendalam, MFCC tetap populer sebagai fitur masukan untuk jaringan saraf, meskipun representasi yang dipelajari (misalnya, dari spektogram) semakin kompetitif.
Kapan digunakan
Gunakan MFCC untuk pengenalan ucapan, identifikasi pembicara, deteksi emosi, dan klasifikasi suara lingkungan. MFCC adalah standar industri untuk sistem pengenalan ucapan otomatis (ASR) dan model pembelajaran mendalam. Terapkan pada sinyal audio dengan ucapan yang jelas atau struktur lingkungan. Hindari untuk analisis musik tanpa modifikasi (musik memerlukan fitur yang berbeda seperti fluks spektral atau kroma).
Batasan dan pertimbangan
- Membuang informasi fase; tidak dapat merekonstruksi audio hanya dari MFCC
- Mengasumsikan stasioneritas dalam bingkai; fitur jangka pendek kehilangan pola jangka panjang (diatasi dengan delta/akselerasi)
- Tidak optimal untuk musik; fitur musik (pusat spektral, kroma, dll.) seringkali lebih baik
- Sensitif terhadap karakteristik mikrofon dan kebisingan latar belakang (memerlukan normalisasi)
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Representasi ringkas (~13 koefisien per bingkai) mengurangi biaya komputasi dan penyimpanan
- Selaras dengan persepsi auditori manusia; menangkap informasi yang penting secara perseptual
- Kuat terhadap variabilitas pembicara dan kebisingan sedang
- Diimplementasikan secara luas dalam kerangka kerja pengenalan ucapan (HTK, Kaldi, TensorFlow)
Penerapan
- Pengenalan ucapan otomatis dalam perangkat konsumen (asisten suara, dikte)
- Identifikasi dan verifikasi pembicara untuk aplikasi keamanan
- Pengenalan emosi dari ucapan dalam aplikasi layanan pelanggan dan kesehatan mental
- Klasifikasi suara lingkungan untuk pengawasan dan pemantauan akustik
Cara kerjanya
Cara kerjanya
Rekam sinyal audio pada laju sampel standar (biasanya 16 kHz untuk ucapan).
Bagi audio menjadi bingkai pendek (20-40 ms, tumpang tindih); terapkan fungsi jendela (jendela Hamming) untuk mengurangi kebocoran spektral.
Rumus
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Hitung transformasi Fourier cepat (FFT) dari setiap bingkai; terapkan bank filter segitiga yang berjarak pada skala mel.
Rumus
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Ambil logaritma dari daya skala mel; terapkan transformasi kosinus diskrit (DCT) untuk mendekorelasikan fitur.
Rumus
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Pertahankan 12-13 koefisien MFCC pertama (ditambah turunan delta dan akselerasi); gunakan untuk klasifikasi atau pengelompokan.
Kesalahan umum
- Menggunakan terlalu banyak atau terlalu sedikit koefisien MFCC; biasanya 12-13 optimal untuk ucapan
- Mengabaikan koefisien delta dan akselerasi; ini secara signifikan meningkatkan pengenalan ucapan
- Gagal menormalisasi fitur di antara pembicara atau kondisi; normalisasi z-score sangat penting
Pertanyaan yang sering diajukan
Mengapa menggunakan skala mel alih-alih Hz?
Pendengaran manusia mempersepsikan nada secara logaritmik, bukan linier. Skala mel mencerminkan hal ini: 1 mel sesuai dengan 1 perubahan nada yang dapat dipersepsikan. Pengelompokan frekuensi berdasarkan skala mel lebih baik menangkap perbedaan perseptual.
Apa itu koefisien delta dan akselerasi?
Koefisien delta menangkap laju perubahan MFCC dari waktu ke waktu; koefisien akselerasi menangkap turunan kedua. Menambahkan ini ke MFCC statis secara signifikan meningkatkan pengenalan ucapan (vektor fitur ~39 angka, bukan 13).
Bagaimana cara memilih jumlah koefisien MFCC?
Untuk ucapan, 12-13 koefisien statis adalah standar. Termasuk delta dan akselerasi, gunakan total 39-40 (13 × 3). Untuk domain atau laju sampel yang berbeda, lakukan eksperimen; lebih banyak koefisien menangkap lebih banyak detail tetapi dapat menyebabkan overfitting.
Metode terkait
Sumber
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Buka referensi DOIDisalin.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Buka referensi publikasiDisalin.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Buka referensi publikasiDisalin.