Skip to content
กลับไปยังผลการค้นหา

สัมประสิทธิ์เซปสตรัมบนมาตรเมล (MFCC: Mel-Frequency Cepstral Coefficients)

ผู้เสนอ
Steven Davis, Paul Mermelstein
ปี
1980
ประเภท
Audio feature extraction algorithm
กลุ่มวิธี
Audio Signal Processing

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Mel-Frequency Cepstral Coefficients (MFCCs) คือการแทนคุณลักษณะเสียงอย่างกะทัดรัด ซึ่งเลียนแบบการรับรู้ของมนุษย์ MFCCs ถูกนำเสนอโดย Davis และ Mermelstein ในปี 1980 และกลายเป็นวิธีการสกัดคุณลักษณะมาตรฐานสำหรับการรู้จำเสียงพูดและการวิเคราะห์เสียงสิ่งแวดล้อม MFCCs บีบอัดข้อมูลความถี่ของสัญญาณเสียงให้อยู่ในชุดสัมประสิทธิ์จำนวนน้อยที่จับเนื้อหาทางสัทศาสตร์ ในขณะที่ละทิ้งรายละเอียดที่ไม่เกี่ยวข้อง

แนวคิดเบื้องหลังวิธีการ

การได้ยินของมนุษย์ไม่ได้เป็นเชิงเส้นตามความถี่ เราจะรับรู้ระดับเสียงแบบลอการิทึม และเราจะไวต่อความถี่ต่ำมากกว่า MFCCs ใช้ประโยชน์จากสิ่งนี้ แทนที่จะใช้มาตรวัดความถี่เชิงเส้น (Hz) จะใช้มาตรวัดเมล (mel scale) ซึ่งจะบิดเบือนความถี่เพื่อให้ตรงกับการรับรู้ของมนุษย์ เสียงจะถูกแยกตามความถี่ แปลงเป็นมาตรวัดเมล บีบอัดผ่านลอการิทึมและการแปลงโคไซน์ ทำให้ได้ตัวเลขประมาณ 13 ตัวที่จับ 'รูปร่าง' ของสเปกตรัม ตัวเลขเหล่านี้มีความเสถียรอย่างน่าทึ่งในผู้พูดที่แตกต่างกันและทนทานต่อเสียงรบกวน ทำให้เหมาะสำหรับการประมวลผลคำพูด

ประวัติศาสตร์

Davis และ Mermelstein ตีพิมพ์ MFCCs ในปี 1980 โดยอิงจากการทำงานก่อนหน้านี้เกี่ยวกับมาตรวัดเมลและการวิเคราะห์เซปสตรัม MFCCs กลายเป็นมาตรฐานในการรู้จำคำพูดในช่วงทศวรรษ 1990-2000 โดยใช้ในระบบต่างๆ เช่น HTK และ Sphinx ด้วยการเพิ่มขึ้นของการเรียนรู้เชิงลึก MFCCs ยังคงเป็นที่นิยมในฐานะคุณลักษณะอินพุตสำหรับโครงข่ายประสาทเทียม แม้ว่าการแทนข้อมูลที่เรียนรู้ได้ (เช่น จากสเปกโตรแกรม) จะมีการแข่งขันเพิ่มขึ้นเรื่อยๆ

ควรใช้เมื่อใด

ใช้ MFCCs สำหรับการรู้จำเสียงพูด การระบุผู้พูด การตรวจจับอารมณ์ และการจำแนกเสียงสิ่งแวดล้อม เป็นมาตรฐานอุตสาหกรรมสำหรับระบบรู้จำเสียงพูดอัตโนมัติ (ASR) และโมเดลการเรียนรู้เชิงลึก นำไปใช้กับสัญญาณเสียงที่มีคำพูดที่ชัดเจนหรือโครงสร้างสิ่งแวดล้อม หลีกเลี่ยงสำหรับการวิเคราะห์ดนตรีโดยไม่มีการปรับเปลี่ยน (ดนตรีต้องการคุณลักษณะที่แตกต่างกัน เช่น spectral flux หรือ chroma)

ข้อจำกัดและข้อควรพิจารณา

  • ละทิ้งข้อมูลเฟส; ไม่สามารถสร้างเสียงจาก MFCCs เพียงอย่างเดียวได้
  • สมมติว่ามีภาวะนิ่งภายในเฟรม (stationarity); คุณลักษณะระยะสั้นพลาดรูปแบบระยะยาว (แก้ไขได้ด้วยเดลต้า/ความเร่ง)
  • ไม่เหมาะสมสำหรับดนตรี; คุณลักษณะของดนตรี (เช่น spectral centroid, chroma) มักจะดีกว่า
  • ไวต่อลักษณะของไมโครโฟนและเสียงรบกวนรอบข้าง (ต้องทำให้เป็นมาตรฐาน)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • การแทนข้อมูลที่กะทัดรัด (สัมประสิทธิ์ประมาณ 13 ตัวต่อเฟรม) ช่วยลดต้นทุนการคำนวณและการจัดเก็บ
  • สอดคล้องกับการรับรู้ของมนุษย์; จับข้อมูลที่สำคัญต่อการรับรู้
  • ทนทานต่อความแปรปรวนของผู้พูดและเสียงรบกวนปานกลาง
  • ถูกนำไปใช้อย่างกว้างขวางในเฟรมเวิร์กการรู้จำเสียงพูด (HTK, Kaldi, TensorFlow)

การประยุกต์ใช้

  • การรู้จำเสียงพูดอัตโนมัติในอุปกรณ์สำหรับผู้บริโภค (ผู้ช่วยเสียง การป้อนตามคำบอก)
  • การระบุและยืนยันตัวตนผู้พูดสำหรับการใช้งานด้านความปลอดภัย
  • การรู้จำอารมณ์จากคำพูดในการบริการลูกค้าและแอปพลิเคชันสุขภาพจิต
  • การจำแนกเสียงสิ่งแวดล้อมสำหรับการเฝ้าระวังและการตรวจสอบเสียง

วิธีการทำงาน

วิธีการทำงาน

1

บันทึกสัญญาณเสียงที่อัตราการสุ่มตัวอย่างมาตรฐาน (โดยทั่วไปคือ 16 kHz สำหรับคำพูด)

2

แบ่งเสียงออกเป็นเฟรมสั้นๆ (20-40 มิลลิวินาที, เหลื่อมกัน); ใช้ฟังก์ชันการปรับหน้าต่าง (หน้าต่าง Hamming) เพื่อลดการรั่วไหลของสเปกตรัม

สูตร
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}
3

คำนวณการแปลงฟูเรียร์แบบเร็ว (FFT) ของแต่ละเฟรม; ใช้ชุดตัวกรองสามเหลี่ยมที่เว้นระยะบนมาตรวัดเมล

สูตร
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}
4

ใช้ลอการิทึมของกำลังบนมาตรวัดเมล; ใช้การแปลงโคไซน์แบบไม่ต่อเนื่อง (DCT) เพื่อลดสหสัมพันธ์ระหว่างคุณลักษณะ

สูตร
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}
5

เก็บสัมประสิทธิ์ MFCC 12-13 ตัวแรก (บวกอนุพันธ์เดลต้าและความเร่ง); ใช้สำหรับการจำแนกประเภทหรือการจัดกลุ่ม

ข้อผิดพลาดที่พบบ่อย

  • การใช้จำนวนสัมประสิทธิ์ MFCC มากเกินไปหรือน้อยเกินไป โดยทั่วไป 12-13 ตัวจะเหมาะสมที่สุดสำหรับคำพูด
  • การละเลยสัมประสิทธิ์เดลต้าและความเร่ง; สิ่งเหล่านี้ช่วยปรับปรุงการรู้จำคำพูดได้อย่างมาก
  • ความล้มเหลวในการทำให้คุณลักษณะเป็นมาตรฐานในผู้พูดหรือเงื่อนไขต่างๆ การทำให้เป็นมาตรฐานแบบ z-score เป็นสิ่งจำเป็น

คำถามที่พบบ่อย

เหตุใดจึงใช้มาตรวัดเมลแทน Hz?

การได้ยินของมนุษย์รับรู้ระดับเสียงแบบลอการิทึม ไม่ใช่แบบเชิงเส้น มาตรวัดเมลสะท้อนสิ่งนี้: 1 เมล สอดคล้องกับการเปลี่ยนแปลงระดับเสียงที่เพิ่งสังเกตได้ (just-noticeable) การจัดกลุ่มความถี่ตามมาตรวัดเมลจะจับความแตกต่างของการรับรู้ได้ดีขึ้น

สัมประสิทธิ์เดลต้าและความเร่งคืออะไร?

สัมประสิทธิ์เดลต้าจับอัตราการเปลี่ยนแปลงของ MFCCs ตามเวลา; สัมประสิทธิ์ความเร่งจับอนุพันธ์อันดับสอง การเพิ่มสิ่งเหล่านี้ให้กับ MFCCs แบบสถิต (static)ช่วยปรับปรุงการรู้จำคำพูดได้อย่างมาก (เวกเตอร์คุณลักษณะประมาณ 39 ตัวเลข แทนที่จะเป็น 13)

ฉันจะเลือกจำนวนสัมประสิทธิ์ MFCC ได้อย่างไร?

สำหรับคำพูด สัมประสิทธิ์สถิต (static) 12-13 ตัวเป็นมาตรฐาน เมื่อรวมเดลต้าและความเร่ง ให้ใช้ทั้งหมด 39-40 ตัว (13 × 3) สำหรับโดเมนหรืออัตราการสุ่มตัวอย่างที่แตกต่างกัน ให้ทดลอง; สัมประสิทธิ์ที่มากขึ้นจะจับรายละเอียดได้มากขึ้น แต่อาจเกิดการเรียนรู้เกินข้อมูล (overfit)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  3. Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว