МФКК (Мел-кепстральные коэффициенты частоты)
- Автор метода
- Steven Davis, Paul Mermelstein
- Год
- 1980
- Тип
- Audio feature extraction algorithm
- Семейство
- Audio Signal Processing
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Мел-кепстральные коэффициенты частоты (МФКК) представляют собой компактное представление аудиопризнаков, имитирующее человеческое слуховое восприятие.
Впервые представленные Дэвисом и Мермельштейном в 1980 году, МФКК стали де-факто методом извлечения признаков для распознавания речи и анализа звуков окружающей среды. Они сжимают частотную информацию аудиосигналов в небольшой набор коэффициентов, которые улавливают фонетическое содержание, отбрасывая при этом нерелевантные детали.
Интуиция метода
Человеческий слух нелинеен по частоте; мы воспринимаем высоту тона логарифмически, и мы более чувствительны к низким частотам. МФКК используют это: вместо использования линейной шкалы частот (Гц) они используют мел-шкалу, которая искажает частоту, чтобы соответствовать человеческому восприятию. Аудио раскладывается по частотам, преобразуется в мел-шкалу, сжимается с помощью логарифмического и косинусного преобразования, давая ~13 чисел, которые улавливают «форму» спектра. Эти числа удивительно стабильны у разных говорящих и устойчивы к шуму, что делает их идеальными для обработки речи.
История
Дэвис и Мермельштейн опубликовали МФКК в 1980 году, опираясь на более ранние работы по мел-шкале и кепстральному анализу. МФКК стали стандартом в распознавании речи в 1990-х-2000-х годах, использовались в таких системах, как HTK и Sphinx. С развитием глубокого обучения МФКК остаются популярными в качестве входных признаков для нейронных сетей, хотя обучаемые представления (например, из спектрограмм) становятся все более конкурентоспособными.
Когда применять
Использовать МФКК для распознавания речи, идентификации диктора, определения эмоций и классификации звуков окружающей среды. Они являются отраслевым стандартом для систем автоматического распознавания речи (ASR) и моделей глубокого обучения. Применять к аудиосигналам с четкой речью или структурой окружающей среды. Избегать для анализа музыки без модификации (музыка требует других признаков, таких как спектральный поток или хрома).
Ограничения и замечания
- Отбрасывает информацию о фазе; невозможно восстановить аудио только по МФКК
- Предполагает стационарность в пределах кадров; краткосрочные признаки упускают долгосрочные закономерности (преодолевается с помощью дельта/ускорения)
- Не оптимальны для музыки; музыкальные признаки (спектральный центроид, хрома и т. д.) часто лучше
- Чувствительность к характеристикам микрофона и фоновому шуму (требуется нормализация)
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Компактное представление (~13 коэффициентов на кадр) снижает вычислительные затраты и объем хранения
- Соответствует человеческому слуховому восприятию; улавливает перцептивно важную информацию
- Устойчивость к вариативности диктора и умеренному шуму
- Широко реализованы в фреймворках распознавания речи (HTK, Kaldi, TensorFlow)
Применение
- Автоматическое распознавание речи в потребительских устройствах (голосовые помощники, диктовка)
- Идентификация и верификация диктора для целей безопасности
- Распознавание эмоций по речи в приложениях для обслуживания клиентов и в области психического здоровья
- Классификация звуков окружающей среды для наблюдения и акустического мониторинга
Как это работает
Как это работает
Записать аудиосигнал со стандартной частотой дискретизации (обычно 16 кГц для речи).
Разделить аудио на короткие кадры (20-40 мс, с перекрытием); применить оконную функцию (окно Хэмминга) для уменьшения спектральных утечек.
Формула
\text{Frame audio into overlapping windows; apply windowing function (Hamming)}Вычислить быстрое преобразование Фурье (БПФ) каждого кадра; применить банк треугольных фильтров, расположенных на мел-шкале.
Формула
\text{Compute short-time Fourier transform (STFT); apply mel-scale filter bank}Взять логарифм мощности в мел-шкале; применить дискретное косинусное преобразование (ДКП) для некоррелирования признаков.
Формула
\text{Compute DCT (discrete cosine transform) of log mel-power; retain first 12-13 coefficients}Сохранить первые 12-13 МФКК коэффициентов (плюс производные скорости и ускорения); использовать для классификации или кластеризации.
Частые ошибки
- Использование слишком большого или слишком малого количества МФКК коэффициентов; обычно 12-13 оптимальны для речи
- Пренебрежение дельта- и ускоренными коэффициентами; они значительно улучшают распознавание речи
- Неспособность нормализовать признаки между дикторами или условиями; нормализация по Z-оценке имеет важное значение
Часто задаваемые вопросы
Почему используется мел-шкала вместо Гц?
Человеческий слух воспринимает высоту тона логарифмически, а не линейно. Мел-шкала отражает это: 1 мел соответствует 1 минимальному заметному изменению высоты тона. Группировка частот по мел-шкале лучше улавливает перцептивные различия.
Что такое дельта- и ускоренные коэффициенты?
Дельта-коэффициенты улавливают скорость изменения МФКК во времени; ускоренные коэффициенты улавливают вторую производную. Добавление их к статическим МФКК значительно улучшает распознавание речи (вектор признаков ~39 чисел вместо 13).
Как выбрать количество МФКК коэффициентов?
Для речи стандартными являются 12-13 статических коэффициентов. Включая дельты и ускорения, используйте всего 39-40 (13 × 3). Для разных доменов или частот дискретизации экспериментируйте; большее количество коэффициентов улавливает больше деталей, но может привести к переобучению.
Похожие методы
Источники
Davis, S., & Mermelstein, P. (1980). Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Transactions on Acoustics, Speech, and Signal Processing, 28(4), 357-366.
Открыть ссылку DOIСкопировано.Young, S. J., Evermann, G., Gales, M. J., et al. (1996). The HTK Book. Cambridge University Engineering Department.
Открыть ссылку на публикациюСкопировано.Moustakides, G. V., & Rougui, J. A. (2004). Optimal filtering for polynomial signal models. IEEE Transactions on Signal Processing, 52(8), 2219-2230.
Открыть ссылку на публикациюСкопировано.