สัมประสิทธิ์เซปสตรัมบนมาตรเมล (MFCC: Mel-Frequency Cepstral Coefficients)
- ผู้เสนอ
- Steven Davis, Paul Mermelstein
- ปี
- 1980
- ประเภท
- Audio feature extraction algorithm
- กลุ่มวิธี
- Audio Signal Processing
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Mel-Frequency Cepstral Coefficients (MFCCs) คือการแทนคุณลักษณะเสียงอย่างกะทัดรัด ซึ่งเลียนแบบการรับรู้ของมนุษย์ MFCCs ถูกนำเสนอโดย Davis และ Mermelstein ในปี 1980 และกลายเป็นวิธีการสกัดคุณลักษณะมาตรฐานสำหรับการรู้จำเสียงพูดและการวิเคราะห์เสียงสิ่งแวดล้อม MFCCs บีบอัดข้อมูลความถี่ของสัญญาณเสียงให้อยู่ในชุดสัมประสิทธิ์จำนวนน้อยที่จับเนื้อหาทางสัทศาสตร์ ในขณะที่ละทิ้งรายละเอียดที่ไม่เกี่ยวข้อง
แนวคิดเบื้องหลังวิธีการ
การได้ยินของมนุษย์ไม่ได้เป็นเชิงเส้นตามความถี่ เราจะรับรู้ระดับเสียงแบบลอการิทึม และเราจะไวต่อความถี่ต่ำมากกว่า MFCCs ใช้ประโยชน์จากสิ่งนี้ แทนที่จะใช้มาตรวัดความถี่เชิงเส้น (Hz) จะใช้มาตรวัดเมล (mel scale) ซึ่งจะบิดเบือนความถี่เพื่อให้ตรงกับการรับรู้ของมนุษย์ เสียงจะถูกแยกตามความถี่ แปลงเป็นมาตรวัดเมล บีบอัดผ่านลอการิทึมและการแปลงโคไซน์ ทำให้ได้ตัวเลขประมาณ 13 ตัวที่จับ 'รูปร่าง' ของสเปกตรัม ตัวเลขเหล่านี้มีความเสถียรอย่างน่าทึ่งในผู้พูดที่แตกต่างกันและทนทานต่อเสียงรบกวน ทำให้เหมาะสำหรับการประมวลผลคำพูด
ประวัติศาสตร์
Davis และ Mermelstein ตีพิมพ์ MFCCs ในปี 1980 โดยอิงจากการทำงานก่อนหน้านี้เกี่ยวกับมาตรวัดเมลและการวิเคราะห์เซปสตรัม MFCCs กลายเป็นมาตรฐานในการรู้จำคำพูดในช่วงทศวรรษ 1990-2000 โดยใช้ในระบบต่างๆ เช่น HTK และ Sphinx ด้วยการเพิ่มขึ้นของการเรียนรู้เชิงลึก MFCCs ยังคงเป็นที่นิยมในฐานะคุณลักษณะอินพุตสำหรับโครงข่ายประสาทเทียม แม้ว่าการแทนข้อมูลที่เรียนรู้ได้ (เช่น จากสเปกโตรแกรม) จะมีการแข่งขันเพิ่มขึ้นเรื่อยๆ
ควรใช้เมื่อใด
ใช้ MFCCs สำหรับการรู้จำเสียงพูด การระบุผู้พูด การตรวจจับอารมณ์ และการจำแนกเสียงสิ่งแวดล้อม เป็นมาตรฐานอุตสาหกรรมสำหรับระบบรู้จำเสียงพูดอัตโนมัติ (ASR) และโมเดลการเรียนรู้เชิงลึก นำไปใช้กับสัญญาณเสียงที่มีคำพูดที่ชัดเจนหรือโครงสร้างสิ่งแวดล้อม หลีกเลี่ยงสำหรับการวิเคราะห์ดนตรีโดยไม่มีการปรับเปลี่ยน (ดนตรีต้องการคุณลักษณะที่แตกต่างกัน เช่น spectral flux หรือ chroma)
ข้อจำกัดและข้อควรพิจารณา
- ละทิ้งข้อมูลเฟส; ไม่สามารถสร้างเสียงจาก MFCCs เพียงอย่างเดียวได้
- สมมติว่ามีภาวะนิ่งภายในเฟรม (stationarity); คุณลักษณะระยะสั้นพลาดรูปแบบระยะยาว (แก้ไขได้ด้วยเดลต้า/ความเร่ง)
- ไม่เหมาะสมสำหรับดนตรี; คุณลักษณะของดนตรี (เช่น spectral centroid, chroma) มักจะดีกว่า
- ไวต่อลักษณะของไมโครโฟนและเสียงรบกวนรอบข้าง (ต้องทำให้เป็นมาตรฐาน)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การแทนข้อมูลที่กะทัดรัด (สัมประสิทธิ์ประมาณ 13 ตัวต่อเฟรม) ช่วยลดต้นทุนการคำนวณและการจัดเก็บ
- สอดคล้องกับการรับรู้ของมนุษย์; จับข้อมูลที่สำคัญต่อการรับรู้
- ทนทานต่อความแปรปรวนของผู้พูดและเสียงรบกวนปานกลาง
- ถูกนำไปใช้อย่างกว้างขวางในเฟรมเวิร์กการรู้จำเสียงพูด (HTK, Kaldi, TensorFlow)
การประยุกต์ใช้
- การรู้จำเสียงพูดอัตโนมัติในอุปกรณ์สำหรับผู้บริโภค (ผู้ช่วยเสียง การป้อนตามคำบอก)
- การระบุและยืนยันตัวตนผู้พูดสำหรับการใช้งานด้านความปลอดภัย
- การรู้จำอารมณ์จากคำพูดในการบริการลูกค้าและแอปพลิเคชันสุขภาพจิต
- การจำแนกเสียงสิ่งแวดล้อมสำหรับการเฝ้าระวังและการตรวจสอบเสียง
วิธีการทำงาน
วิธีการทำงาน
บันทึกสัญญาณเสียงที่อัตราการสุ่มตัวอย่างมาตรฐาน (โดยทั่วไปคือ 16 kHz สำหรับคำพูด)
แบ่งเสียงออกเป็นเฟรมสั้นๆ (20-40 มิลลิวินาที, เหลื่อมกัน); ใช้ฟังก์ชันการปรับหน้าต่าง (หน้าต่าง Hamming) เพื่อลดการรั่วไหลของสเปกตรัม
สูตร
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}คำนวณการแปลงฟูเรียร์แบบเร็ว (FFT) ของแต่ละเฟรม; ใช้ชุดตัวกรองสามเหลี่ยมที่เว้นระยะบนมาตรวัดเมล
สูตร
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}ใช้ลอการิทึมของกำลังบนมาตรวัดเมล; ใช้การแปลงโคไซน์แบบไม่ต่อเนื่อง (DCT) เพื่อลดสหสัมพันธ์ระหว่างคุณลักษณะ
สูตร
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}เก็บสัมประสิทธิ์ MFCC 12-13 ตัวแรก (บวกอนุพันธ์เดลต้าและความเร่ง); ใช้สำหรับการจำแนกประเภทหรือการจัดกลุ่ม
ข้อผิดพลาดที่พบบ่อย
- การใช้จำนวนสัมประสิทธิ์ MFCC มากเกินไปหรือน้อยเกินไป โดยทั่วไป 12-13 ตัวจะเหมาะสมที่สุดสำหรับคำพูด
- การละเลยสัมประสิทธิ์เดลต้าและความเร่ง; สิ่งเหล่านี้ช่วยปรับปรุงการรู้จำคำพูดได้อย่างมาก
- ความล้มเหลวในการทำให้คุณลักษณะเป็นมาตรฐานในผู้พูดหรือเงื่อนไขต่างๆ การทำให้เป็นมาตรฐานแบบ z-score เป็นสิ่งจำเป็น
คำถามที่พบบ่อย
เหตุใดจึงใช้มาตรวัดเมลแทน Hz?
การได้ยินของมนุษย์รับรู้ระดับเสียงแบบลอการิทึม ไม่ใช่แบบเชิงเส้น มาตรวัดเมลสะท้อนสิ่งนี้: 1 เมล สอดคล้องกับการเปลี่ยนแปลงระดับเสียงที่เพิ่งสังเกตได้ (just-noticeable) การจัดกลุ่มความถี่ตามมาตรวัดเมลจะจับความแตกต่างของการรับรู้ได้ดีขึ้น
สัมประสิทธิ์เดลต้าและความเร่งคืออะไร?
สัมประสิทธิ์เดลต้าจับอัตราการเปลี่ยนแปลงของ MFCCs ตามเวลา; สัมประสิทธิ์ความเร่งจับอนุพันธ์อันดับสอง การเพิ่มสิ่งเหล่านี้ให้กับ MFCCs แบบสถิต (static)ช่วยปรับปรุงการรู้จำคำพูดได้อย่างมาก (เวกเตอร์คุณลักษณะประมาณ 39 ตัวเลข แทนที่จะเป็น 13)
ฉันจะเลือกจำนวนสัมประสิทธิ์ MFCC ได้อย่างไร?
สำหรับคำพูด สัมประสิทธิ์สถิต (static) 12-13 ตัวเป็นมาตรฐาน เมื่อรวมเดลต้าและความเร่ง ให้ใช้ทั้งหมด 39-40 ตัว (13 × 3) สำหรับโดเมนหรืออัตราการสุ่มตัวอย่างที่แตกต่างกัน ให้ทดลอง; สัมประสิทธิ์ที่มากขึ้นจะจับรายละเอียดได้มากขึ้น แต่อาจเกิดการเรียนรู้เกินข้อมูล (overfit)
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วYoung, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วMoustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว