Przejdź do treści
Wróć do wyników wyszukiwania

Maskowanie psychoakustyczne

Autor metody
Eberhard Zwicker
Rok
1961
Typ
Perceptual model for audio systems
Rodzina
Psychoacoustics, Auditory perception

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Maskowanie psychoakustyczne opisuje, w jaki sposób ludzki narząd słuchu tłumi percepcję słabych dźwięków w obecności silniejszych dźwięków.

Sformalizowane przez Eberharda Zwickera w latach 60. XX wieku, maskowanie jest fundamentalnym zjawiskiem w słyszeniu i podstawą percepcyjnego kodowania dźwięku (MP3, AAC, OPUS). Maskowanie występuje zarówno w dziedzinie częstotliwości (maskowanie spektralne), jak i czasu (maskowanie czasowe), a zrozumienie tych efektów umożliwia efektywną kompresję dźwięku i realistyczne projektowanie dźwięku.

Intuicja stojąca za metodą

Wyobraź sobie cichą rozmowę w zatłoczonej kawiarni. Możesz zrozumieć swojego przyjaciela, mimo że otacza Cię wiele innych rozmów i hałas w tle. Twoje ucho naturalnie tłumi nieistotne dźwięki – to jest maskowanie. Silne dźwięki (tłum) maskują lub ukrywają słabsze dźwięki (bliskie, ale mniej ważne rozmowy), ponieważ reakcja ucha wewnętrznego na silny dźwięk przytłacza przetwarzanie sygnału słabszych dźwięków. Inżynierowie dźwięku wykorzystują tę zasadę do usuwania lub kompresowania szczegółów, których ludzie nie słyszą, zmniejszając rozmiar plików bez zauważalnej utraty jakości.

Historia

Zwicker był pionierem psychoakustyki w latach 60. XX wieku, mierząc i modelując progi maskowania zarówno w dziedzinie częstotliwości, jak i czasu. Moore i inni udoskonalili zrozumienie pasma krytycznego i mechaniki błony podstawnej. Praca Johnstona z 1988 roku zastosowała maskowanie do kodowania dźwięku, kładąc podwaliny pod kodeki percepcyjne. MPEG i ISO znormalizowały modele maskowania w latach 90. (MP3, AAC); nowoczesne warianty kodeków (OPUS, LAME) wykorzystują zaawansowane modele maskowania do optymalizacji kompresji.

Kiedy stosować

Zastosowanie modeli maskowania psychoakustycznego w kompresji audio (MP3, AAC, OPUS), ulepszaniu dźwięku i redukcji szumów, projektowaniu aparatów słuchowych, ocenie zrozumiałości mowy i renderowaniu dźwięku wirtualnego. Maskowanie jest kluczowe dla projektowania kodeków percepcyjnych, gdzie liczy się rozmiar pliku i przepustowość. Maskowanie jest mniej istotne, gdy priorytetem jest wierność dźwięku (miksowanie studyjne) lub gdy nie są wymagane metryki percepcyjne.

Ograniczenia i uwagi

  • Progi maskowania znacznie się różnią między osobami; ubytek słuchu, wiek i indywidualne różnice zmniejszają przewidywalność u niektórych słuchaczy.
  • Modele maskowania zakładają liniowe przetwarzanie słuchowe; efekty nieliniowe (adaptacja głośności, produkty zniekształceń) nie są w pełni uwzględnione.
  • Maskowanie czasowe jest mniej dobrze scharakteryzowane niż maskowanie częstotliwości; modele są prostsze i mniej dokładne dla zjawisk w dziedzinie czasu (przejściowe, artefakty muzyczne).
  • Krytycznie zależy od statystyki sygnału; progi maskowania zmieniają się wraz ze spektrum, strukturą czasową i rodzajem sygnału. Modele mogą nie generalizować się na wszystkie sygnały.
  • Zmienność indywidualna i efekty kontekstowe (uwaga, zmęczenie, wcześniejsze doświadczenia) modulują progi maskowania; stałe modele nie mogą uchwycić tych zmienności.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dobrze ugruntowane w fizjologii słuchu; progi maskowania korelują z pomiarami drgań błony podstawnej i przetwarzania ślimakowego.
  • Umożliwia znaczną kompresję dźwięku (10:1 lub wyższą) bez zauważalnej utraty jakości poprzez wykorzystanie ograniczeń ludzkiego słuchu zamiast odrzucania danych.
  • Ma zastosowanie w szerokim zakresie warunków odsłuchowych i środowisk akustycznych; krzywe maskowania są dość spójne między słuchaczami i kontekstami.
  • Prosta i wydajna implementacja obliczeniowa; modele maskowania pasują do kodeków audio i aparatów słuchowych w czasie rzeczywistym przy minimalnym obciążeniu procesora.
  • Ustanowione standardy (ISO/MPEG) i dziesięciolecia udoskonaleń; modele maskowania są dojrzałe i niezawodne w komercyjnych systemach audio.

Zastosowania

  • Kompresja i strumieniowanie audio: MP3, AAC, OPUS i inne kodeki wykorzystują modele maskowania do osiągnięcia kompresji 10–20:1 bez słyszalnej utraty jakości; fundamentalne dla strumieniowania audio przy ograniczonej przepustowości.
  • Projektowanie aparatów słuchowych: uwzględnianie modeli maskowania w celu tłumienia szumów usznych i wzmacniania mowy w hałasie, jednocześnie unikając artefaktów, które byłyby zauważalne dla użytkowników z niedosłuchem.
  • Ulepszanie mowy i redukcja szumów: zastosowanie maskowania do identyfikacji i tłumienia szumów w regionach czasowo-częstotliwościowych, gdzie są one maskowane przez mowę, poprawiając zrozumiałość.
  • Restauracja i kryminalistyka audio: wykorzystanie maskowania do określenia, które artefakty degradacji w uszkodzonych nagraniach są percepcyjnie istotne; kierowanie priorytetami restauracji.
  • Dźwięk 3D i projektowanie dźwięku przestrzennego: wykorzystanie maskowania częstotliwości i czasu do zmniejszenia liczby filtrów HRTF i kanałów dźwięku przestrzennego potrzebnych do realistycznego zanurzenia.
  • Produkcja muzyczna i miksowanie: wykorzystanie wiedzy o maskowaniu do zapobiegania konfliktom częstotliwości (maskowanie instrumentów przez inne) i optymalizacji ustawień EQ i kompresji dla klarowności.

Jak to działa

Jak to działa

1

Nagranie lub synteza sygnału audio zawierającego zarówno szum maskujący (lub tony), jak i sygnały testowe (tony lub szum o zmiennej częstotliwości i natężeniu).

2

Normalizacja poziomów sygnału, zastosowanie okienkowania w dziedzinie częstotliwości i dekompozycja sygnału na pasma częstotliwości (za pomocą banków filtrów lub analizy Fouriera) w celu umożliwienia analizy maskowania specyficznej dla pasma.

3

Dla każdego pasma częstotliwości zmierz próg maskowania – minimalny poziom sygnału w tym paśmie, który można dostrzec w obecności szumu maskującego. Oddzielnie kwantyfikuj maskowanie częstotliwości (jedna częstotliwość maskuje pobliskie częstotliwości) i maskowanie czasowe (głośny dźwięk maskuje cichsze dźwięki przed nim i po nim).

4

Dopasowanie modeli psychoakustycznych (np. krzywych maskowania ISO/MPEG), które powiązują próg maskowania ze spektrum i strukturą czasową sygnału maskującego. Modele zazwyczaj uwzględniają pasmo krytyczne, wzbudzenie błony podstawnej i okna integracji czasowej.

5

Wykorzystanie progów maskowania do określenia, które składowe sygnału są percepcyjnie zbędne i mogą zostać odrzucone lub skompresowane. Zastosowanie modeli maskowania w projektowaniu kodeków audio w celu efektywnej alokacji bitów: alokacja większej liczby bitów dla sygnałów niemaskowanych i mniejszej dla sygnałów maskowanych.

Częste pułapki

  • Nadmiernie agresywna kompresja oparta na progach maskowania; artefakty, które są normalnie maskowane, mogą stać się słyszalne, gdy połączy się wiele sygnałów lub w różnych kontekstach odsłuchowych.
  • Ignorowanie indywidualnych różnic w słyszeniu; standardowe krzywe maskowania zakładają prawidłowe słyszenie. Osoby z niedosłuchem mogą mieć inne wzorce maskowania.
  • Ignorowanie maskowania czasowego podczas kompresji sygnałów bogatych w przejścia (mowa, muzyka perkusyjna); alokacja wysokich przepływności bitów przy przejściach pozwala uniknąć artefaktów 'pre-echo'.
  • Zakładanie, że modele maskowania wytrenowane na prostych bodźcach (fale sinusoidalne, szum wąskopasmowy) mają zastosowanie do złożonej muzyki lub mowy. Sygnały z rzeczywistego świata mogą zachowywać się inaczej.
  • Zapominanie, że progi maskowania są wartościami bezwzględnymi; względna głośność również wpływa na postrzeganą jakość. Zmaskowany artefakt może być niesłyszalny w izolacji, ale zauważalny w kontekście.

Najczęściej zadawane pytania

Jaka jest różnica między maskowaniem częstotliwości a maskowaniem czasowym?

Maskowanie częstotliwości (spektralne) występuje, gdy jeden zakres częstotliwości maskuje percepcję dźwięków o pobliskich częstotliwościach (np. głośny bas niskotonowy maskuje słyszenie instrumentów średniotonowych). Maskowanie czasowe występuje, gdy głośny dźwięk tłumi percepcję cichszych dźwięków przed nim (pre-masking, ~5 ms) lub po nim (post-masking, ~100 ms). Oba przyczyniają się do ogólnego maskowania, ale maskowanie czasowe jest trudniejsze do modelowania i mniej zrozumiałe.

Czym jest pasmo krytyczne i dlaczego jest ważne?

Pasmo krytyczne to szerokość regionu częstotliwości, w którym maskowanie jest najsilniejsze; reprezentuje efektywne 'strojenie' ślimaka (ucha wewnętrznego). Poniżej 500 Hz pasmo krytyczne wynosi około 100 Hz; powyżej 2 kHz rozszerza się. Kodeki audio wykorzystują pasmo krytyczne do grupowania binów częstotliwościowych do analizy maskowania i alokacji bitów – częstotliwości w obrębie pasma krytycznego są często traktowane jako jednostka.

Jak bardzo można skompresować dźwięk za pomocą maskowania?

Typowe współczynniki kompresji wynoszą 10–20:1 dla mowy i 8–12:1 dla muzyki bez zauważalnej utraty jakości (MP3 przy 128 kbps, AAC przy 96 kbps). Agresywna kompresja (40:1, 64 kbps) wprowadza słyszalne artefakty (pre-echo, utrata szczegółów przejściowych, artefakty tonalne). Osiągalny współczynnik zależy od zawartości sygnału, jakości modelu maskowania i ostrości słuchu słuchacza.

Czy osoby z niedosłuchem mogą postrzegać dźwięki, które dla osób z prawidłowym słuchem są zamaskowane?

Tak. Ubytek słuchu może przesunąć progi maskowania. Niektórzy słuchacze z niedosłuchem mają podwyższone progi (potrzebują głośniejszych sygnałów) lub inną zależność częstotliwościową. Dodatkowo, rekrutacja (wzrost głośności) może sprawić, że zamaskowane sygnały będą słyszalne na wyższych poziomach. Standardowe modele maskowania zakładają prawidłowe słyszenie; potrzebna jest personalizacja dla zastosowań związanych z niedosłuchem.

Jakie artefakty wynikają z nieprawidłowego oszacowania progu maskowania?

Niedoszacowanie maskowania (alokacja zbyt małej liczby bitów) powoduje słyszalny szum kwantyzacji, pre-echo (artefakty przed przejściami) i rozmycie czasowe. Nadmierne oszacowanie maskowania (alokacja zbyt dużej liczby bitów) marnuje miejsce, ale zapewnia wysoką jakość. Najczęstsze artefakty to brzęczenie tonalne (kwantyzacja składowych o niskiej amplitudzie) i utrata szczegółów przestrzennych w dźwięku wielokanałowym.

Pokrewne metody

Źródła

  1. Zwicker, E., & Scharf, B. (1965). Psychoacoustics: Facts and Models. Springer-Verlag.

    ISBN: 978-3540631644
    Skopiowano.
  2. Moore, B. C. J. (2012). An Introduction to the Psychology of Hearing (6th ed.). Academic Press.

    ISBN: 978-0123914232
    Skopiowano.
  3. Johnston, J. D. (1988). Transform coding of audio signals using perceptual noise criteria. IEEE Journal on Selected Areas in Communications, 6(2), 314–323.

    Otwórz odnośnik DOI
    Skopiowano.