Психоакустическое маскирование
- Автор метода
- Eberhard Zwicker
- Год
- 1961
- Тип
- Perceptual model for audio systems
- Семейство
- Psychoacoustics, Auditory perception
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Психоакустическое маскирование описывает, как человеческая слуховая система подавляет восприятие слабых звуков в присутствии более сильных.
Формализованное Эберхардом Цвиккером в 1960-х годах, маскирование является фундаментальным явлением в слухе и основой для перцептивного кодирования аудио (MP3, AAC, OPUS). Маскирование происходит как по частоте (спектральное маскирование), так и по времени (временное маскирование), и понимание этих эффектов позволяет осуществлять эффективное сжатие аудио и реалистичный дизайн звука.
Интуиция метода
Представьте тихий разговор в шумном кафе. Вы можете понять своего друга, даже несмотря на множество других разговоров и фонового шума вокруг вас. Ваш слух естественным образом подавляет нерелевантные звуки — это и есть маскирование. Сильные звуки (толпа) маскируют или скрывают более слабые звуки (близкие, но менее важные разговоры), поскольку реакция внутреннего уха на сильный звук перегружает обработку сигналов более слабых звуков. Аудиоинженеры используют этот принцип для удаления или сжатия деталей, которые люди не могут услышать, уменьшая размер файлов без заметной потери качества.
История
Цвиккер был пионером психоакустики в 1960-х годах, измеряя и моделируя пороги маскирования как по частоте, так и по времени. Мур и другие усовершенствовали понимание критической полосы и механики базилярной мембраны. Работа Джонстона в 1988 году применила маскирование к кодированию аудио, заложив основу для перцептивных кодеков. MPEG и ISO стандартизировали модели маскирования в 1990-х годах (MP3, AAC); современные варианты кодеков (OPUS, LAME) используют сложные модели маскирования для оптимизации сжатия.
Когда применять
Применять модели психоакустического маскирования в сжатии аудио (MP3, AAC, OPUS), улучшении звука и шумоподавлении, проектировании слуховых аппаратов, оценке разборчивости речи и рендеринге виртуального звука. Маскирование необходимо для разработки перцептивных кодеков, где важны размер файла и пропускная способность. Маскирование менее актуально, когда первостепенное значение имеет точность воспроизведения звука (студийное сведение) или когда перцептивные метрики не требуются.
Ограничения и замечания
- Пороги маскирования существенно варьируются у разных людей; потеря слуха, возраст и индивидуальные различия снижают предсказуемость у некоторых слушателей.
- Модели маскирования предполагают линейную обработку слуховой информации; нелинейные эффекты (адаптация громкости, продукты искажений) не полностью учитываются.
- Временное маскирование менее изучено, чем частотное; модели проще и менее точны для явлений во временной области (переходные процессы, музыкальные артефакты).
- Критически зависит от статистики сигнала; пороги маскирования изменяются в зависимости от спектра, временной структуры и типа сигнала. Модели могут не обобщаться на все сигналы.
- Индивидуальная вариативность и эффекты контекста (внимание, усталость, предыдущий опыт) модулируют пороги маскирования; фиксированные модели не могут учесть эти вариации.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Хорошо обосновано аудиологической физиологией; пороги маскирования коррелируют с измерениями вибрации базилярной мембраны и обработки в улитке.
- Обеспечивает значительное сжатие аудио (10:1 или выше) без заметной потери качества за счет использования ограничений человеческого слуха, а не отбрасывания данных.
- Применимо к широкому диапазону условий прослушивания и акустических сред; кривые маскирования достаточно последовательны у разных слушателей и в разных контекстах.
- Простая и эффективная вычислительная реализация; модели маскирования вписываются в кодеки реального времени и слуховые аппараты с минимальной нагрузкой на ЦП.
- Установленные стандарты (ISO/MPEG) и десятилетия усовершенствований; модели маскирования являются зрелыми и надежными в коммерческих аудиосистемах.
Применение
- Сжатие и потоковая передача аудио: MP3, AAC, OPUS и другие кодеки используют модели маскирования для достижения сжатия 10–20:1 без слышимой потери качества; фундаментально для потокового аудио при ограниченной пропускной способности.
- Проектирование слуховых аппаратов: включают модели маскирования для подавления тиннитуса и улучшения разборчивости речи в шуме, избегая при этом артефактов, которые были бы заметны пользователям с нарушениями слуха.
- Улучшение речи и шумоподавление: применяют маскирование для идентификации и подавления шума в частотно-временных областях, где он маскируется речью, улучшая разборчивость.
- Восстановление и криминалистика аудио: используют маскирование для определения того, какие артефакты деградации в поврежденных записях являются перцептивно значимыми; направляют приоритеты восстановления.
- 3D-аудио и дизайн пространственного звука: используют частотное и временное маскирование для уменьшения количества HRTF-фильтров и каналов пространственного аудио, необходимых для реалистичного погружения.
- Музыкальное производство и сведение: используют знание маскирования для предотвращения частотных конфликтов (маскирование инструментов другими) и оптимизации настроек эквалайзера и компрессии для ясности.
Как это работает
Как это работает
Записать или синтезировать аудиосигнал, содержащий как маскирующий шум (или тоны), так и тестовые сигналы (тоны или шум различной частоты и интенсивности).
Нормализовать уровни сигнала, применить оконную функцию в частотной области и разложить сигнал на частотные полосы (с помощью фильтр-банков или Фурье-анализа) для обеспечения анализа маскирования в каждой полосе.
Для каждой частотной полосы измерить порог маскирования — минимальный уровень сигнала в этой полосе, который может быть воспринят в присутствии маскирующего шума. Отдельно количественно оценить частотное маскирование (одна частота маскирует соседние частоты) и временное маскирование (громкий звук маскирует более тихие звуки до и после него).
Подогнать психоакустические модели (например, кривые маскирования ISO/MPEG), которые связывают порог маскирования со спектром и временной структурой маскирующего сигнала. Модели обычно учитывают критическую полосу, возбуждение базилярной мембраны и окна временной интеграции.
Использовать пороги маскирования для определения компонентов сигнала, которые являются перцептивно избыточными и могут быть отброшены или сжаты. Применять модели маскирования при разработке аудиокодеков для эффективного распределения битов: выделять больше битов для немаскированных сигналов и меньше для маскированных.
Частые ошибки
- Чрезмерно агрессивное сжатие на основе порогов маскирования; артефакты, которые обычно маскируются, могут стать слышимыми при комбинировании нескольких сигналов или в других контекстах прослушивания.
- Игнорирование индивидуальных различий в слухе; стандартные кривые маскирования предполагают нормальный слух. Слушатели с нарушениями слуха могут иметь иные паттерны маскирования.
- Игнорирование временного маскирования при сжатии сигналов с богатыми переходными процессами (речь, ударная музыка); выделение высокой скорости передачи данных на переходных процессах позволяет избежать артефактов 'предварительного эха'.
- Предположение, что модели маскирования, обученные на простых стимулах (синусоидальные волны, узкополосный шум), применимы к сложной музыке или речи. Реальные сигналы могут вести себя иначе.
- Забывание, что пороги маскирования являются абсолютными значениями; относительная громкость также влияет на воспринимаемое качество. Маскированный артефакт может быть неслышимым в изоляции, но заметным в контексте.
Часто задаваемые вопросы
В чем разница между частотным и временным маскированием?
Частотное (спектральное) маскирование возникает, когда один частотный диапазон маскирует восприятие звуков в соседних частотах (например, громкий низкочастотный бас маскирует слышимость инструментов среднего диапазона). Временное маскирование возникает, когда громкий звук подавляет восприятие более тихих звуков до него (предмаскирование, ~5 мс) или после него (постмаскирование, ~100 мс). Оба фактора способствуют общему маскированию, но временное маскирование труднее моделировать и хуже изучено.
Что такое критическая полоса и почему она важна?
Критическая полоса — это ширина частотного диапазона, в пределах которого маскирование наиболее сильно; она представляет собой эффективную 'настройку' улитки (внутреннего уха). Ниже 500 Гц критическая полоса составляет примерно 100 Гц; выше 2 кГц она расширяется. Аудиокодеки используют критическую полосу для группировки частотных бинов для анализа маскирования и распределения битов — частоты в пределах критической полосы часто рассматриваются как единое целое.
Насколько сильно можно сжать аудио с помощью маскирования?
Типичные коэффициенты сжатия составляют 10–20:1 для речи и 8–12:1 для музыки без заметной потери качества (MP3 при 128 кбит/с, AAC при 96 кбит/с). Агрессивное сжатие (40:1, 64 кбит/с) приводит к слышимым артефактам (предварительное эхо, потеря деталей переходных процессов, тональные артефакты). Достижимый коэффициент зависит от содержания сигнала, качества модели маскирования и остроты слуха слушателя.
Могут ли люди с нарушениями слуха воспринимать звуки, которые нормальные слушатели считают маскированными?
Да. Потеря слуха может смещать пороги маскирования. У некоторых людей с нарушениями слуха повышенные пороги (требуется более громкий сигнал) или иная частотная зависимость. Кроме того, рекрутмент (рост громкости) может сделать маскированные сигналы слышимыми на более высоких уровнях. Стандартные модели маскирования предполагают нормальный слух; для приложений, связанных с нарушениями слуха, требуется индивидуальная настройка.
Какие артефакты возникают при неправильной оценке порога маскирования?
Недооценка маскирования (выделение слишком малого количества битов) приводит к слышимому шуму квантования, предварительному эху (артефакты перед переходными процессами) и временному размытию. Переоценка маскирования (выделение слишком большого количества битов) приводит к пустой трате места, но обеспечивает высокое качество. Наиболее распространенные артефакты — это тональное жужжание (квантование компонентов с низкой амплитудой) и потеря пространственной детализации в многоканальном аудио.
Похожие методы
Источники
Zwicker, E., & Scharf, B. (1965). Psychoacoustics: Facts and Models. Springer-Verlag.
ISBN: 978-3540631644Скопировано.Moore, B. C. J. (2012). An Introduction to the Psychology of Hearing (6th ed.). Academic Press.
ISBN: 978-0123914232Скопировано.Johnston, J. D. (1988). Transform coding of audio signals using perceptual noise criteria. IEEE Journal on Selected Areas in Communications, 6(2), 314–323.
Открыть ссылку DOIСкопировано.