Бимформинг
- Автор метода
- Van Veen, Barry Buckley
- Год
- 1988
- Тип
- Directional audio array processing
- Семейство
- Signal processing, Spatial filtering
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Бимформинг — это метод пространственной обработки сигналов, который использует массивы микрофонов для избирательного усиления звука из желаемого направления при подавлении звуков из других направлений.
Формализованный Ван Вином и Бакли в 1988 году, бимформинг является основой для бесконтактной голосовой связи, слуховых аппаратов, гидролокации, радиолокации и пространственной записи звука. Он позволяет «слушать» с направленной чувствительностью, несмотря на использование всенаправленных микрофонов, за счет использования временных задержек и фазовых различий между элементами массива.
Интуиция метода
Представьте себе спутниковую тарелку, которая фокусирует радиоволны из космоса; бимформинг делает то же самое для звука, используя массив микрофонов. Тщательно регулируя усиление и задержку сигналов от каждого микрофона перед их объединением, вы создаете «виртуальный» направленный микрофон, который преимущественно слушает звуки, идущие с выбранного направления. Звуки из других направлений интерферируют деструктивно и подавляются. Это позволяет вам слышать конкретного говорящего в шумной комнате, определять его пространственное положение и подавлять фоновый шум.
История
Концепции бимформинга зародились в радиолокации и гидролокации (1940-е–1950-е годы). Ван Вин и Бакли систематизировали теорию бимформинга для общей обработки сигналов в 1988 году. Адаптивный бимформинг (Фрост, MVDR, LCMV) был разработан в 1970-х–1980-х годах. Коммерческое внедрение ускорилось в 1990-х–2000-х годах с появлением голосовых помощников, спикерфонов и слуховых аппаратов. Современные варианты включают сверхнаправленные массивы, дифференциальные микрофонные массивы и пространственные фильтры на основе машинного обучения.
Когда применять
Использовать бимформинг для захвата речи в режиме громкой связи в голосовых помощниках и конференц-системах, микрофонах слуховых аппаратов, которые усиливают речь от фронтальных источников, для локализации источника (определения положения говорящего), пространственной записи и воспроизведения звука, а также для подводной гидролокации. Бимформинг особенно эффективен, когда апертура массива (размер) сопоставима или больше длины волны интересующего диапазона. Для очень низких частот (больших длин волн) требуются большие массивы; для высоких частот достаточно компактных массивов.
Ограничения и замечания
- Производительность снижается на низких частотах, где длина волны велика по сравнению с апертурой массива; для низких частот требуются большие массивы.
- Причинность и задержка: вычисление бимформера и обработка, зависящая от задержки, вносят задержку (обычно 10–100 мс); проблематично для интерактивных приложений.
- Пространственное алиасинг: если расстояние между элементами массива превышает половину длины волны, несколько направлений дают неоднозначные отклики. Конструкция массива должна избегать алиасинга на целевых частотах.
- Реверберация и диффузные поля: бимформинг предполагает прямые пути звука; в реверберирующих помещениях поздние отражения и диффузный звук ухудшают направленность.
- Вычислительная стоимость растет с увеличением числа микрофонов и разрешением по частоте; бимформеры высокого порядка и реализация в реальном времени требуют значительных ресурсов цифровой обработки сигналов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Обеспечивает направленное прослушивание с использованием всенаправленных микрофонов; позволяет избежать затрат и сложности проектирования механических направленных микрофонов.
- Высокая гибкость и адаптивность; веса бимформера могут обновляться в реальном времени для отслеживания движущихся источников или подавления динамических помех.
- Обеспечивает пространственное восприятие: может определять местоположение источников, оценивать направление прибытия и создавать эффекты пространственного звука.
- Работает в широких диапазонах частот; соответствующее масштабирование и корректировки дизайна позволяют осуществлять бимформинг от инфразвука до ультразвука.
- Хорошо разработанная теория и практические реализации; доступны обширная литература и коммерческие алгоритмы бимформинга.
Применение
- Дизайн голосовых помощников и спикерфонов: микрофоны с бимформингом подавляют фоновый шум и реверберацию помещения, обеспечивая захват речи на дальнем расстоянии.
- Направленные микрофоны слуховых аппаратов: усиливают речь спереди, подавляя окружающий шум, улучшая разборчивость речи для пользователей с нарушениями слуха.
- Пространственная запись и производство звука: массивы микрофонов захватывают направленное звуковое поле для иммерсивного многоканального звука (амбисоника, объемный звук, VR-аудио).
- Локализация и отслеживание источников: выходные сигналы бимформера из нескольких направлений позволяют оценить положение источника звука в 2D или 3D пространстве.
- Гидролокация и подводная акустика: бимформинг обеспечивает обнаружение, локализацию и отслеживание подводных источников звука (морские обитатели, подводные лодки).
- Архитектурная акустика и конференц-системы: распределенные массивы микрофонов в переговорных комнатах улучшают захват речи и подавляют акустическую обратную связь.
Как это работает
Как это работает
Разместить несколько микрофонов (обычно от 2 до 64 или более) в известной геометрической конфигурации (линейной, круговой, сферической) с расстоянием менее половины длины волны для самой высокой интересующей частоты.
Оцифровать и синхронизировать все сигналы микрофонов (обеспечить временное выравнивание с точностью лучше одного периода выборки); откалибровать усиление и частотные характеристики микрофонов.
Вычислить время прибытия (TDOA) между парами микрофонов для звуков, прибывающих с разных направлений. TDOA определяет фазовые задержки, необходимые для выравнивания (согласования фаз) сигналов из определенного направления.
Разработать веса бимформера (комплексные усиления и задержки) таким образом, чтобы сигналы из желаемого направления складывались конструктивно, а сигналы из других направлений складывались деструктивно. Распространенные конструкции бимформеров: задержка и суммирование (во временной области), Фрост (в частотной области), MVDR (минимальная дисперсия без искажений) и адаптивные (LCMV, MUSIC).
Вычислить выход бимформера (взвешенные и суммированные сигналы микрофонов) и измерить пространственные метрики: диаграмму направленности (усиление как функция направления), индекс направленности (отношение отклика луча к всенаправленному) и чувствительность к боковым и торцевым сигналам.
Частые ошибки
- Пренебрежение пространственным алиасингом; недоопределенные массивы (слишком большое расстояние между микрофонами) дают неоднозначные или случайные результаты на высоких частотах.
- Использование недостаточной апертуры массива для низкочастотных источников; длина волны >> размер массива приводит к плохой направленности. Планируйте размер массива исходя из целевого диапазона частот.
- Игнорирование несоответствия микрофонов (различия в усилении, фазе, времени); значительное несоответствие разрушает производительность бимформера. Тщательно калибруйте.
- Предположение, что бимформинг обеспечивает бесконечную направленность; практические бимформеры имеют конечный индекс направленности, а подавление боковых лепестков ограничено.
- Неучет реверберации помещения; диффузный звук и поздние отражения не могут быть подавлены направленно. Могут потребоваться адаптивные бимформеры и акустическая предварительная обработка.
Часто задаваемые вопросы
Какова связь между апертурой массива и частотной характеристикой?
Апертура массива (физический размер) определяет длины волн, которые могут быть эффективно направлены и различимы. На низких частотах (длинные волны) апертура должна быть большой по сравнению с длиной волны для хорошей направленности. На высоких частотах (короткие волны) работают компактные массивы. Практическое правило: апертура должна составлять не менее 2–4 длин волн на интересующей частоте для полезного усиления.
В чем разница между задержкой и суммированием и адаптивным бимформингом?
Задержка и суммирование — это фиксированный бимформер: веса (задержки и усиления) фиксированы в зависимости от желаемого направления. Он обеспечивает постоянное усиление в заданном направлении, но ограниченное подавление боковых лепестков. Адаптивные бимформеры (MVDR, LCMV) в реальном времени корректируют веса, чтобы минимизировать мощность шума, сохраняя усиление в желаемом направлении, обеспечивая лучшее подавление помех.
Как выбрать расстояние между микрофонами в массиве?
Расстояние между микрофонами не должно превышать половину самой короткой интересующей длины волны, чтобы избежать пространственного алиасинга. Например, при 4 кГц (длина волны ≈ 8,6 см) расстояние должно быть ≤4,3 см. Более близкое расстояние (λ/4) обеспечивает лучшую направленность, но увеличивает вычислительную стоимость и сложность массива.
Может ли бимформинг работать под водой?
Да, бимформинг широко используется в подводной гидролокации и морской биоакустике. Принцип идентичен, но акустические длины волн в воде намного длиннее, чем в воздухе (скорость звука ≈ 1500 м/с в морской воде против 343 м/с в воздухе), поэтому подводные массивы физически больше. Многоэлементные гидрофонные массивы позволяют определять местоположение источников, идентифицировать виды и осуществлять связь в подводной среде.
Почему производительность бимформинга снижается в реверберирующих помещениях?
В реверберирующих помещениях поздние отражения и диффузный звук приходят со многих направлений. Бимформеры, разработанные для прямого звука, не могут подавить эти диффузные компоненты, поскольку им не хватает направленной когерентности. Акустическая предварительная обработка (устранение реверберации, обратная фильтрация) или многомикрофонные алгоритмы, использующие различия в когерентности (сверхнаправленные массивы, разделение речи), могут смягчить эффекты реверберации.
Похожие методы
Источники
Van Veen, B. D., & Buckley, K. M. (1988). Beamforming: A versatile approach to spatial filtering. IEEE ASSP Magazine, 5(2), 4–24.
Открыть ссылку DOIСкопировано.Brandstein, M., & Ward, D. (2001). Microphone Arrays: Signal Processing Techniques and Applications. Springer-Verlag.
ISBN: 978-3540419013Скопировано.Krim, H., & Viberg, M. (1996). Two decades of array signal processing research. IEEE Signal Processing Magazine, 13(4), 67–94.
Открыть ссылку DOIСкопировано.