ضرایب سِپسترال فرکانس مل (MFCC)
- معرفیشده توسط
- Steven Davis, Paul Mermelstein
- سال
- 1980
- نوع
- Audio feature extraction algorithm
- خانواده
- Audio Signal Processing
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
ضرایب سِپسترال فرکانس مل (MFCCs) نمایشی فشرده از ویژگیهای صوتی هستند که ادراک شنوایی انسان را تقلید میکنند.
MFCCها که در سال ۱۹۸۰ توسط دیویس و مرملشتاین معرفی شدند، روش استخراج ویژگیِ عملی برای تشخیص گفتار و تحلیل صدای محیطی هستند. این ضرایب، اطلاعات فرکانسی سیگنالهای صوتی را به مجموعهای کوچک از ضرایب فشرده میکنند که محتوای آوایی را ثبت کرده و جزئیات نامربوط را حذف میکنند.
شهود پشت روش
شنوایی انسان از نظر فرکانسی خطی نیست؛ ما زیر و بمی را به صورت لگاریتمی درک میکنیم و به فرکانسهای پایین حساستر هستیم. MFCCها از این ویژگی بهره میبرند: به جای استفاده از مقیاس فرکانسی خطی (هرتز)، از مقیاس مل استفاده میکنند که فرکانس را برای تطابق با ادراک انسان تغییر میدهد. صدا بر اساس فرکانس تجزیه شده، به مقیاس مل تبدیل، با استفاده از لگاریتم و تبدیل کسینوسی فشرده میشود و حدود ۱۳ عدد به دست میآید که «شکل» طیف را ثبت میکنند. این اعداد در بین گویندگان بسیار پایدار و در برابر نویز مقاوم هستند و آنها را برای پردازش گفتار ایدهآل میسازند.
تاریخ
دیویس و مرملشتاین در سال ۱۹۸۰، با بهرهگیری از کارهای قبلی در مقیاس مل و تحلیل سِپسترال، MFCCها را منتشر کردند. MFCCها در دهه ۱۹۹۰-۲۰۰۰ به استاندارد در تشخیص گفتار تبدیل شدند و در سیستمهایی مانند HTK و Sphinx مورد استفاده قرار گرفتند. با ظهور یادگیری عمیق، MFCCها به عنوان ویژگی ورودی برای شبکههای عصبی محبوب باقی ماندهاند، اگرچه نمایشهای آموخته شده (مانند نمایشهای حاصل از طیفنگاره) به طور فزایندهای رقابتی هستند.
چه زمانی استفاده شود
استفاده از MFCCها برای تشخیص گفتار، شناسایی گوینده، تشخیص احساسات و طبقهبندی صدای محیطی. این ضرایب استاندارد صنعتی برای سیستمهای تشخیص خودکار گفتار (ASR) و مدلهای یادگیری عمیق هستند. برای سیگنالهای صوتی با گفتار واضح یا ساختار محیطی اعمال میشوند. برای تحلیل موسیقی بدون تغییر (موسیقی به ویژگیهای متفاوتی مانند شار طیفی یا کروما نیاز دارد) اجتناب شود.
محدودیتها و ملاحظات
- اطلاعات فاز را حذف میکند؛ بازسازی صدا تنها از روی MFCCها امکانپذیر نیست.
- فرض ایستایی در فریمها؛ ویژگیهای کوتاهمدت الگوهای بلندمدت را از دست میدهند (با دلتا/شتاب برطرف میشود).
- برای موسیقی بهینه نیست؛ ویژگیهای موسیقی (مانند مرکز طیفی، کروما و غیره) اغلب بهتر هستند.
- به مشخصات میکروفون و نویز پسزمینه حساس است (نیاز به نرمالسازی دارد).
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- نمایش فشرده (حدود ۱۳ ضریب در هر فریم) هزینه محاسباتی و ذخیرهسازی را کاهش میدهد.
- مطابق با ادراک شنوایی انسان؛ اطلاعات مهم ادراکی را ثبت میکند.
- در برابر تغییرات گوینده و نویز متوسط مقاوم است.
- به طور گسترده در چارچوبهای تشخیص گفتار (HTK, Kaldi, TensorFlow) پیادهسازی شده است.
کاربردها
- تشخیص خودکار گفتار در دستگاههای مصرفی (دستیارهای صوتی، دیکته)
- شناسایی و تأیید هویت گوینده برای کاربردهای امنیتی
- تشخیص احساسات از گفتار در کاربردهای خدمات مشتری و سلامت روان
- طبقهبندی صدای محیطی برای نظارت و پایش صوتی
چگونه کار میکند
چگونه کار میکند
ضبط سیگنال صوتی با نرخ نمونهبرداری استاندارد (معمولاً ۱۶ کیلوهرتز برای گفتار).
تقسیم صدا به فریمهای کوتاه (۲۰-۴۰ میلیثانیه، با همپوشانی)؛ اعمال تابع پنجرهبندی (پنجره هَمینگ) برای کاهش نشت طیفی.
فرمول
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}محاسبه تبدیل فوریه سریع (FFT) برای هر فریم؛ اعمال مجموعهای از فیلترهای مثلثی که بر روی مقیاس مل فاصله گرفتهاند.
فرمول
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}گرفتن لگاریتم توان در مقیاس مل؛ اعمال تبدیل کسینوسی گسسته (DCT) برای کاهش همبستگی ویژگیها.
فرمول
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}نگه داشتن ۱۲-۱۳ ضریب MFCC اول (به علاوه مشتقات دلتا و شتاب)؛ استفاده برای طبقهبندی یا خوشهبندی.
دامهای رایج
- استفاده از تعداد زیاد یا کم ضرایب MFCC؛ معمولاً ۱۲-۱۳ عدد برای گفتار بهینه است.
- نادیده گرفتن ضرایب دلتا و شتاب؛ این ضرایب تشخیص گفتار را به طور قابل توجهی بهبود میبخشند.
- عدم نرمالسازی ویژگیها در بین گویندگان یا شرایط؛ نرمالسازی Z-score ضروری است.
پرسشهای متداول
چرا به جای هرتز از مقیاس مل استفاده کنیم؟
شنوایی انسان زیر و بمی را به صورت لگاریتمی و نه خطی درک میکند. مقیاس مل این را منعکس میکند: ۱ مل معادل ۱ تغییر قابل تشخیص در زیر و بمی است. گروهبندی فرکانسها بر اساس مقیاس مل، تفاوتهای ادراکی را بهتر ثبت میکند.
ضرایب دلتا و شتاب چه هستند؟
ضرایب دلتا نرخ تغییر MFCCها را در طول زمان ثبت میکنند؛ ضرایب شتاب مشتق دوم را ثبت میکنند. افزودن این ضرایب به MFCCهای ایستا، تشخیص گفتار را به طور قابل توجهی بهبود میبخشد (بردار ویژگی حدود ۳۹ عدد به جای ۱۳ عدد).
چگونه تعداد ضرایب MFCC را انتخاب کنم؟
برای گفتار، ۱۲-۱۳ ضریب ایستا استاندارد است. با احتساب دلتا و شتاب، در مجموع ۳۹-۴۰ عدد (۱۳ × ۳) استفاده کنید. برای دامنههای مختلف یا نرخهای نمونهبرداری، آزمایش کنید؛ ضرایب بیشتر جزئیات بیشتری را ثبت میکنند اما میتوانند باعث بیشبرازش (overfitting) شوند.
روشهای مرتبط
منابع
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
باز کردن مرجع DOIکپی شد.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
باز کردن مرجع انتشارکپی شد.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
باز کردن مرجع انتشارکپی شد.