Skip to content
กลับไปยังผลการค้นหา

การวิเคราะห์เซปสตรัม

ผู้เสนอ
Bogert, Healy, Tukey
ปี
1963
ประเภท
Spectral decomposition method
กลุ่มวิธี
Signal processing, Spectral analysis

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การวิเคราะห์เซปสตรัม (Cepstral analysis) เป็นเทคนิคการวิเคราะห์สเปกตรัมที่แยกส่วนประกอบของสัญญาณออกจากกันโดยการแปลงสเปกตรัมลอการิทึม-แมกนิจูดแบบผกผัน การวิเคราะห์เซปสตรัมซึ่งริเริ่มโดย Bogert, Healy และ Tukey ในปี 1963 สามารถเผยโครงสร้างแบบคาบ (periodic structure) ในสเปกตรัม (เช่น รูปแบบเสียงสูงต่ำ หรือรูปแบบเสียงสะท้อน) และแยกการกระตุ้นจากแหล่งกำเนิด (source excitation) ออกจากการตอบสนองของตัวกรอง (filter response) ได้ ค่าสัมประสิทธิ์เซปสตรัมความถี่เมล (Mel-frequency cepstral coefficients หรือ MFCCs) ซึ่งได้จากการวิเคราะห์เซปสตรัม เป็นคุณลักษณะที่ใช้กันอย่างแพร่หลายที่สุดในการรู้จำเสียงพูดอัตโนมัติ (automatic speech recognition) การยืนยันตัวตนผู้พูด (speaker verification) และการวิเคราะห์เสียง

แนวคิดเบื้องหลังวิธีการ

สเปกตรัมของเสียงที่มีการเปล่งเสียง (voiced sound) จะมีค่าสูงสุดที่จำนวนเท่าของความถี่มูลฐาน (harmonics) หากเรานำลอการิทึมของสเปกตรัมมาคำนวณการแปลงฟูเรียร์อีกครั้ง (การวิเคราะห์สเปกตรัมแบบผกผัน) ฮาร์มอนิกส์จะปรากฏเป็นค่าสูงสุดที่ชัดเจน ณ ระยะเวลา (lag) ที่สอดคล้องกับระดับเสียง (pitch) นี่คือการวิเคราะห์เซปสตรัม: เราใช้ FFT สองครั้ง (หรือนำลอการิทึมแล้วจึงใช้ FFT) เพื่อเผยให้เห็นความถี่คาบที่ซ่อนอยู่ คำว่า 'cepstrum' มาจากการสลับพยางค์ของคำว่า 'spectrum' ซึ่งเผยให้เห็นรูปแบบที่ FFT เพียงอย่างเดียวไม่สามารถแสดงได้

ประวัติศาสตร์

Bogert, Healy และ Tukey ได้นำเสนอเซปสตรัมในปี 1963 สำหรับการประมวลผลสัญญาณทางธรณีฟิสิกส์ (การตรวจจับเสียงสะท้อนจากแผ่นดินไหว) แนวคิดนี้ถูกนำมาปรับใช้กับการประมวลผลเสียงพูดและการวิเคราะห์เสียงในช่วงทศวรรษ 1970–1980 Davis และ Mermelstein เป็นผู้บุกเบิก Mel-Frequency Cepstral Coefficients (MFCCs) ในปี 1980 สำหรับการรู้จำเสียงพูด MFCCs กลายเป็นคุณลักษณะมาตรฐานสำหรับระบบ ASR และยังคงเป็นที่นิยมในการเรียนรู้ของเครื่องด้านเสียงพูดและเสียงในปัจจุบัน ระบบการเรียนรู้เชิงลึกสมัยใหม่ (CNNs, RNNs) มักใช้ Mel-spectrograms (ซึ่งเกี่ยวข้องกับการวิเคราะห์เซปสตรัม) เป็นอินพุต

ควรใช้เมื่อใด

ใช้การวิเคราะห์เซปสตรัมสำหรับการรู้จำเสียงพูดอัตโนมัติ (ASR) การยืนยัน/ระบุตัวตนผู้พูด การตรวจจับระดับเสียง การตรวจจับเสียงสะท้อน และการสกัดคุณลักษณะเสียง MFCCs เป็นมาตรฐานโดยพฤตินัย (de facto standard) ในการประมวลผลเสียงและการเรียนรู้ของเครื่องบนเสียง การวิเคราะห์เซปสตรัมไม่ค่อยนิยมใช้กับการวิเคราะห์ดนตรี (ซึ่งอาจนิยมใช้ chromagram หรือ constant-Q features มากกว่า) แต่ยังคงสามารถนำมาประยุกต์ใช้ได้

ข้อจำกัดและข้อควรพิจารณา

  • การวิเคราะห์เซปสตรัมตั้งอยู่บนสมมติฐานของโมเดลแบบคอนโวลูชัน (source-filter แบบคูณ); สัญญาณที่มีความไม่เป็นเชิงเส้นสูงหรือไม่คงที่ (highly nonlinear or non-stationary) จะไม่สามารถจำลองได้ดี
  • MFCCs บีบอัดข้อมูลผ่านการปรับสเกลความถี่แบบ log-Mel ทำให้สูญเสียรายละเอียดสเปกตรัมบางส่วน ซึ่งส่งผลกระทบต่องานระดับต่ำ (เช่น การวิเคราะห์ดนตรี การแยกแหล่งกำเนิด)
  • การตรวจจับระดับเสียงด้วยเซปสตรัมมีข้อจำกัดเฉพาะกับเสียงพูดที่มีการเปล่งเสียง (voiced speech) พยัญชนะที่ไม่ออกเสียง (unvoiced consonants) และเสียงเสียดแทรก (fricatives) ขาดค่าสูงสุดของระดับเสียงที่ชัดเจน
  • MFCCs ไม่คงที่ต่อการแปลงเสียงหรือการปรับเปลี่ยนลักษณะผู้พูด (voice conversion or speaker morphing) ค่า MFCCs จะแปรผันตามลักษณะของผู้พูด ทำให้ต้องมีการปรับค่าให้เป็นมาตรฐาน (normalization) สำหรับงานที่ไม่ขึ้นกับผู้พูด
  • ภาระในการคำนวณของการใช้ FFT สองครั้ง (สเปกตรัมแล้วจึงเซปสตรัม); สำหรับระบบที่ทำงานแบบเรียลไทม์มากหรืออุปกรณ์ที่ใช้พลังงานต่ำ คุณลักษณะที่ง่ายกว่าอาจเหมาะสมกว่า

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • แยกส่วนประกอบของสัญญาณแบบคอนโวลูชัน (convolutional signals) ออกเป็นส่วนประกอบแบบบวก (additive components); แยกแหล่งกำเนิด (ระดับเสียง การเปล่งเสียง) ออกจากลักษณะของตัวกรอง (ช่องเสียง)
  • MFCCs มีความทนทานต่อสัญญาณรบกวนพื้นหลังและความแปรปรวนของผู้พูด การสกัดคุณลักษณะในปริภูมิ log-Mel ช่วยลดมิติข้อมูลได้อย่างเป็นธรรมชาติ
  • มีประสิทธิภาพในการคำนวณ: การสกัดค่าสัมประสิทธิ์เซปสตรัมเร็วกว่าการฝึกโมเดลอะคูสติกจากรูปคลื่นดิบ
  • เป็นมาตรฐานที่ได้รับการยอมรับและพิสูจน์แล้ว MFCCs เป็นคุณลักษณะพื้นฐานที่ได้รับการยอมรับทั้งในวงการวิชาการและอุตสาหกรรมสำหรับงานด้านเสียงพูด
  • มีความยืดหยุ่น: การวิเคราะห์เซปสตรัมทำงานได้กับสเกลความถี่ที่หลากหลาย (เชิงเส้น, Mel, Bark) และสามารถรวมกับเทคนิคอื่นๆ ได้หลายอย่าง (เช่น delta features, liftering, normalization)

การประยุกต์ใช้

  • การรู้จำเสียงพูดอัตโนมัติ (ASR): MFCCs เป็นคุณลักษณะมาตรฐานสำหรับระบบ ASR แบบ hidden Markov model (HMM) และ deep learning
  • การยืนยันและระบุตัวตนผู้พูด: ค่าสัมประสิทธิ์เซปสตรัมเผยลักษณะช่องเสียงที่เป็นเอกลักษณ์ของผู้พูด ใช้ในระบบชีวมิติของผู้พูด (speaker biometric systems)
  • การตรวจจับระดับเสียงและการประเมินคุณภาพเสียง: เซปสตรัมมีค่าสูงสุดที่ระยะเวลาของระดับเสียงสำหรับเสียงพูดที่มีการเปล่งเสียง ช่วยให้ประมาณความถี่มูลฐานได้โดยไม่ต้องติดตามระดับเสียงโดยตรง
  • การค้นคืนข้อมูลดนตรีและการจำแนกประเภทแนวเพลง: คุณลักษณะเซปสตรัมบน Mel-scale spectrograms ช่วยให้สามารถค้นหาความคล้ายคลึงของดนตรีและการจำแนกประเภทได้
  • นิติวิทยาศาสตร์เสียงและการวิเคราะห์ผู้พูด: คุณลักษณะเซปสตรัมบ่งบอกถึงสภาวะอารมณ์ ความเหนื่อยล้า และความถูกต้องของผู้พูดสำหรับการวิเคราะห์เสียงทางกฎหมาย
  • การตรวจจับเสียงสะท้อนและเสียงก้อง: ส่วนประกอบเซปสตรัมที่ระยะเวลาสูงเผยให้เห็นเสียงสะท้อนหลายครั้ง (harmonics ของระดับเสียง การสะท้อนในห้อง) ใช้สำหรับการจำแนกลักษณะสภาพแวดล้อมอะคูสติก

วิธีการทำงาน

วิธีการทำงาน

1

บันทึกหรือแปลงสัญญาณเสียง (เสียงพูด ดนตรี เสียงสิ่งแวดล้อม) เป็นดิจิทัล แบ่งสัญญาณออกเป็นช่วงหน้าต่างที่ซ้อนทับกัน (โดยทั่วไปคือ 20–50 มิลลิวินาที)

2

ใช้การปรับปรุงความถี่สูง (pre-emphasis - ตัวกรองความถี่สูง) และฟังก์ชันหน้าต่าง (window function - เช่น Hamming, Hann) อาจมีการปรับสเกลความถี่ตามการรับรู้ของหู (perceptual scale - เช่น Mel หรือ Bark)

3

คำนวณสเปกตรัมกำลัง (power spectrum) โดยใช้ FFT หรือ Mel-scale filterbank นำลอการิทึมของค่าแมกนิจูด (log-power) ใช้การแปลงฟูเรียร์ผกผัน (inverse DFT หรือ inverse FFT) กับสเปกตรัมลอการิทึม (log-spectrum) เพื่อให้ได้เซปสตรัม

4

แยกส่วนประกอบของเซปสตรัม: ส่วนประกอบที่ระยะเวลาต่ำ (low-lag หรือ quefrency) แสดงถึงซองสเปกตรัม (spectral envelope - เช่น formants, filter) ส่วนประกอบที่ระยะเวลาสูง (high-lag) แสดงถึงโครงสร้างละเอียด (harmonics, pitch) ตัดส่วนประกอบที่ระยะเวลาสูงออกเพื่อปรับสเปกตรัมให้เรียบ (liftering)

5

สกัดค่าสัมประสิทธิ์เซปสตรัม (โดยทั่วไปคือ 12–13 MFCCs จากเซปสตรัม) คุณลักษณะเหล่านี้จับลักษณะของช่องเสียง (vocal tract) (เช่น เอกลักษณ์ของผู้พูด หน่วยเสียง) ขณะเดียวกันก็ลดความแปรปรวนที่ไม่เกี่ยวข้อง (เช่น ระดับเสียง แอมพลิจูด สัญญาณรบกวนพื้นหลัง)

ข้อผิดพลาดที่พบบ่อย

  • การตั้งสมมติฐานว่า MFCCs จับข้อมูลเสียงที่เกี่ยวข้องทั้งหมด; MFCCs ถูกปรับให้เหมาะสมที่สุดสำหรับการรู้จำเสียงพูดอัตโนมัติ แต่อาจพลาดรายละเอียดทางสัทศาสตร์สำหรับงานอื่นๆ (เช่น อารมณ์ของผู้พูด เสียงพูดที่ผิดปกติ)
  • การใช้ liftering (การตัดทอน) ที่ไม่เหมาะสม; การใช้ liftering ที่รุนแรงเกินไปจะทำให้รายละเอียดของ formant หายไป การใช้ liftering ไม่เพียงพอจะทำให้เกิดสิ่งแปลกปลอมจากระดับเสียง (pitch artifacts)
  • การสับสนระหว่างเซปสตรัมกับสเปกตรัม; เซปสตรัมเป็นปริมาณที่ได้จากการแปลง (การแปลงสเปกตรัมลอการิทึม) ไม่ใช่สเปกตรัมดั้งเดิม การตีความแตกต่างกัน
  • การละเลยการปรับค่าให้เป็นมาตรฐานสำหรับผู้พูดแต่ละคน (per-speaker normalization); MFCCs มีความแตกต่างกันในแต่ละผู้พูดทั้งในด้านสเกลและช่วงค่า การปรับค่าเฉลี่ยเซปสตรัม (Cepstral Mean Normalization หรือ CMN) มีความสำคัญอย่างยิ่งสำหรับระบบที่ไม่ขึ้นกับผู้พูด
  • การพึ่งพา MFCCs มากเกินไปโดยไม่มีคุณลักษณะตามบริบท (เช่น delta features, accelerations); MFCCs แบบคงที่จับเฉพาะสถานะสเปกตรัม ณ ขณะนั้น แต่พลวัตของเวลา (temporal dynamics) มักมีความสำคัญ

คำถามที่พบบ่อย

ความแตกต่างระหว่างสเปกตรัมและเซปสตรัมคืออะไร?

สเปกตรัมคือการแสดงผลของสัญญาณในโดเมนความถี่ (ผลลัพธ์จาก FFT) เซปสตรัมคือสเปกตรัมของสเปกตรัมลอการิทึม (FFT ของ log|FFT|) สเปกตรัมแสดงว่ามีความถี่ใดบ้างที่มีอยู่ เซปสตรัมแสดงว่ามีความถี่คาบ (periodicity) ใดบ้างในสเปกตรัม สำหรับการตรวจจับระดับเสียง เซปสตรัมจะมีค่าสูงสุดที่ระยะเวลาของความถี่มูลฐาน (quefrency)

เหตุใด MFCCs จึงประสบความสำเร็จอย่างสูงในการรู้จำเสียงพูดอัตโนมัติ (ASR)?

MFCCs ผสมผสานการปรับสเกลความถี่แบบ Mel (ซึ่งสอดคล้องกับการรับรู้ของระบบการได้ยิน) เข้ากับการวิเคราะห์เซปสตรัม (ซึ่งแยกแหล่งกำเนิดและตัวกรอง) ผลลัพธ์ที่ได้คือคุณลักษณะที่มีมิติต่ำ (12–13 ค่าต่อเฟรม) ซึ่งจับข้อมูลที่เกี่ยวข้องกับหน่วยเสียงได้ ขณะเดียวกันก็ทนทานต่อสัญญาณรบกวนและความแปรปรวนของผู้พูด การปรับแต่งระบบ ASR มานานหลายทศวรรษได้ทำให้การใช้ MFCCs มีประสิทธิภาพสูงสุด

Cepstral Mean Normalization (CMN) คืออะไร?

CMN คือการลบค่าเฉลี่ยของเวกเตอร์ MFCC (หาค่าเฉลี่ยตลอดทั้งประโยคหรือช่วงเวลา) ออกจากแต่ละเฟรม วิธีนี้จะปรับค่าออฟเซ็ตของผู้พูดแต่ละคนให้เป็นมาตรฐานและปรับปรุงความเป็นอิสระจากผู้พูด (speaker independence) CMN มีความสำคัญอย่างยิ่งเมื่อฝึกโมเดลกับผู้พูดคนหนึ่งและทดสอบกับผู้พูดอีกคนหนึ่ง ช่วยลดความแปรปรวนของคุณลักษณะที่เกิดจากเอกลักษณ์ของผู้พูด โดยเหลือไว้แต่เนื้อหาทางสัทศาสตร์

ฉันจะตรวจจับระดับเสียงโดยใช้การวิเคราะห์เซปสตรัมได้อย่างไร?

คำนวณเซปสตรัมของเฟรมเสียงพูด สำหรับเสียงพูดที่มีการเปล่งเสียง จะมีค่าสูงสุดที่ชัดเจนที่ระยะเวลา (quefrency) ซึ่งเท่ากับคาบของความถี่มูลฐาน ความถี่ที่สอดคล้องกับระยะเวลานี้คือระดับเสียง เฟรมที่ไม่ออกเสียงจะขาดค่าสูงสุดที่ชัดเจน การประมวลผลเพิ่มเติม (เช่น การตรวจจับการเปล่งเสียง การติดตามความต่อเนื่อง) จะช่วยปรับปรุงการประมาณค่าระดับเสียงให้แม่นยำขึ้น

การวิเคราะห์เซปสตรัมสามารถตรวจจับเสียงก้องและเสียงสะท้อนในห้องได้หรือไม่?

ได้ ในสภาพแวดล้อมที่มีเสียงก้อง เซปสตรัมจะแสดงค่าสูงสุดหลายค่า: ค่าหนึ่งที่ระยะเวลาของเสียงโดยตรง (0) และค่าอื่นๆ ที่ระยะเวลาซึ่งสอดคล้องกับเสียงสะท้อน ค่าสูงสุดที่ระยะเวลาสูงเหล่านี้เผยให้เห็นเวลาเสียงก้องและรูปแบบเสียงสะท้อน การวิเคราะห์ค่าสูงสุดของเซปสตรัมใช้สำหรับการจำแนกลักษณะสภาพแวดล้อมอะคูสติกและการประมาณค่าการตอบสนองต่อแรงกระตุ้นของห้อง (room impulse response)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Bogert, B. P., Healy, M. J., & Tukey, J. W. (1963). The quefrency alanysis of time series for echoes: cepstrum, pseudo-autocovariance, cross-cepstrum, and saphe cracking. In Time Series Analysis Research Papers (pp. 209–243). Wiley.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357–366.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  3. Rabiner, L. R., & Juang, B. H. (1993). Fundamentals of Speech Recognition. Prentice-Hall.

    ISBN: 978-0130156099
    คัดลอกแล้ว