Skip to content
Назад к результатам поиска

МФКК (Мел-кепстральные коэффициенты частоты)

Автор метода
Steven Davis, Paul Mermelstein
Год
1980
Тип
Audio feature extraction algorithm
Семейство
Audio Signal Processing

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Мел-кепстральные коэффициенты частоты (МФКК) представляют собой компактное представление аудиопризнаков, имитирующее человеческое слуховое восприятие.

Впервые представленные Дэвисом и Мермельштейном в 1980 году, МФКК стали де-факто методом извлечения признаков для распознавания речи и анализа звуков окружающей среды. Они сжимают частотную информацию аудиосигналов в небольшой набор коэффициентов, которые улавливают фонетическое содержание, отбрасывая при этом нерелевантные детали.

Интуиция метода

Человеческий слух нелинеен по частоте; мы воспринимаем высоту тона логарифмически, и мы более чувствительны к низким частотам. МФКК используют это: вместо использования линейной шкалы частот (Гц) они используют мел-шкалу, которая искажает частоту, чтобы соответствовать человеческому восприятию. Аудио раскладывается по частотам, преобразуется в мел-шкалу, сжимается с помощью логарифмического и косинусного преобразования, давая ~13 чисел, которые улавливают «форму» спектра. Эти числа удивительно стабильны у разных говорящих и устойчивы к шуму, что делает их идеальными для обработки речи.

История

Дэвис и Мермельштейн опубликовали МФКК в 1980 году, опираясь на более ранние работы по мел-шкале и кепстральному анализу. МФКК стали стандартом в распознавании речи в 1990-х-2000-х годах, использовались в таких системах, как HTK и Sphinx. С развитием глубокого обучения МФКК остаются популярными в качестве входных признаков для нейронных сетей, хотя обучаемые представления (например, из спектрограмм) становятся все более конкурентоспособными.

Когда применять

Использовать МФКК для распознавания речи, идентификации диктора, определения эмоций и классификации звуков окружающей среды. Они являются отраслевым стандартом для систем автоматического распознавания речи (ASR) и моделей глубокого обучения. Применять к аудиосигналам с четкой речью или структурой окружающей среды. Избегать для анализа музыки без модификации (музыка требует других признаков, таких как спектральный поток или хрома).

Ограничения и замечания

  • Отбрасывает информацию о фазе; невозможно восстановить аудио только по МФКК
  • Предполагает стационарность в пределах кадров; краткосрочные признаки упускают долгосрочные закономерности (преодолевается с помощью дельта/ускорения)
  • Не оптимальны для музыки; музыкальные признаки (спектральный центроид, хрома и т. д.) часто лучше
  • Чувствительность к характеристикам микрофона и фоновому шуму (требуется нормализация)

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Компактное представление (~13 коэффициентов на кадр) снижает вычислительные затраты и объем хранения
  • Соответствует человеческому слуховому восприятию; улавливает перцептивно важную информацию
  • Устойчивость к вариативности диктора и умеренному шуму
  • Широко реализованы в фреймворках распознавания речи (HTK, Kaldi, TensorFlow)

Применение

  • Автоматическое распознавание речи в потребительских устройствах (голосовые помощники, диктовка)
  • Идентификация и верификация диктора для целей безопасности
  • Распознавание эмоций по речи в приложениях для обслуживания клиентов и в области психического здоровья
  • Классификация звуков окружающей среды для наблюдения и акустического мониторинга

Как это работает

Как это работает

1

Записать аудиосигнал со стандартной частотой дискретизации (обычно 16 кГц для речи).

2

Разделить аудио на короткие кадры (20-40 мс, с перекрытием); применить оконную функцию (окно Хэмминга) для уменьшения спектральных утечек.

Формула
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}
3

Вычислить быстрое преобразование Фурье (БПФ) каждого кадра; применить банк треугольных фильтров, расположенных на мел-шкале.

Формула
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}
4

Взять логарифм мощности в мел-шкале; применить дискретное косинусное преобразование (ДКП) для некоррелирования признаков.

Формула
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}
5

Сохранить первые 12-13 МФКК коэффициентов (плюс производные скорости и ускорения); использовать для классификации или кластеризации.

Частые ошибки

  • Использование слишком большого или слишком малого количества МФКК коэффициентов; обычно 12-13 оптимальны для речи
  • Пренебрежение дельта- и ускоренными коэффициентами; они значительно улучшают распознавание речи
  • Неспособность нормализовать признаки между дикторами или условиями; нормализация по Z-оценке имеет важное значение

Часто задаваемые вопросы

Почему используется мел-шкала вместо Гц?

Человеческий слух воспринимает высоту тона логарифмически, а не линейно. Мел-шкала отражает это: 1 мел соответствует 1 минимальному заметному изменению высоты тона. Группировка частот по мел-шкале лучше улавливает перцептивные различия.

Что такое дельта- и ускоренные коэффициенты?

Дельта-коэффициенты улавливают скорость изменения МФКК во времени; ускоренные коэффициенты улавливают вторую производную. Добавление их к статическим МФКК значительно улучшает распознавание речи (вектор признаков ~39 чисел вместо 13).

Как выбрать количество МФКК коэффициентов?

Для речи стандартными являются 12-13 статических коэффициентов. Включая дельты и ускорения, используйте всего 39-40 (13 × 3). Для разных доменов или частот дискретизации экспериментируйте; большее количество коэффициентов улавливает больше деталей, но может привести к переобучению.

Похожие методы

Источники

  1. Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.

    Открыть ссылку DOI
    Скопировано.
  2. Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.

    Открыть ссылку на публикацию
    Скопировано.
  3. Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.

    Открыть ссылку на публикацию
    Скопировано.