Skip to content
Назад к результатам поиска

Теорема Шеннона о пропускной способности канала

Автор метода
Claude Shannon
Год
1948
Тип
fundamental theoretical bound
Семейство
Information theory

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Теорема Шеннона о пропускной способности канала, опубликованная в 1948 году, устанавливает максимальную скорость, с которой информация может быть надежно передана по зашумленному каналу.

Выраженная как C = B log2(1 + S/N) для аддитивного белого гауссовского шума (АБГШ), она является фундаментальной границей в теории информации и технике связи. Шеннон доказал, что надежная связь возможна при любой скорости ниже пропускной способности и невозможна при скорости выше нее. Эта теорема лежит в основе проектирования всех современных систем связи и мотивирует развитие теории кодирования, модуляции и методов обработки сигналов.

Интуиция метода

Интуитивно, пропускная способность канала отвечает на вопрос: сколько информации я могу надежно передать в единицу времени, несмотря на шум? Шеннон показал, что ответ зависит от трех факторов: (1) полосы пропускания B (больше полосы пропускания -> больше пропускная способность), (2) мощности сигнала S (более сильный сигнал -> больше пропускная способность) и (3) мощности шума N (меньше шума -> больше пропускная способность). Логарифмический компромисс log2(1 + S/N) отражает глубокую истину: удвоение мощности увеличивает пропускную способность всего на 1 бит/с/Гц, что является убывающей отдачей. Это объясняет, почему, несмотря на столетия практики связи, надежная связь фундаментально ограничена до тех пор, пока отношение сигнала к шуму не станет достаточно высоким. Это также мотивирует разработку сложных методов модуляции и кодирования: они асимптотически приближаются к пропускной способности, но никогда не превышают ее.

История

Статья Шеннона 1948 года «Математическая теория связи» заложила основы теории информации. Он доказал теорему о кодировании в зашумленном канале, установив, что надежная связь ниже пропускной способности возможна, а выше — нет. Этот революционный результат показал, что шум не препятствует надежной связи, а лишь ограничивает скорость. В последующие десятилетия теоретики кодирования (Хэмминг, Голэй, сверточные коды, Рида-Соломона) разработали практические коды, приближающиеся к пропускной способности. Современные коды (турбо-, LDPC-, полярные) достигают скоростей в пределах 0,5–0,7 дБ от пропускной способности. Работа Шеннона превратила связь из эмпирической инженерной практики в строгую математическую дисциплину.

Когда применять

Пропускная способность Шеннона используется для установки целей проектирования и оценки производительности систем. Перед проектированием системы связи вычислите пропускную способность, чтобы понять предельный теоретический предел. При оценке системы сравните фактическую пропускную способность с теоретической, чтобы количественно оценить эффективность. Пропускная способность также направляет распределение ресурсов: управление мощностью, распределение полосы пропускания, выбор скорости кодирования. Используйте анализ пропускной способности для обоснования инвестиций в передовые технологии (MIMO, формирование луча), количественно оценивая потенциальные выгоды.

Ограничения и замечания

  • Формула пропускной способности для АБГШ предполагает бесконечную длину кодовых слов; практические коды конечной длины являются субоптимальными
  • Для пропускной способности каналов с замираниями требуется полное знание состояния канала у передатчика для оптимального распределения мощности (метод заливки водой)
  • Формула предполагает гауссовский вход; некоторые каналы выигрывают от негауссовской модуляции (редко)
  • Пропускная способность не учитывает задержку, сложность или ограничения по энергии; практические системы отдают приоритет этим факторам
  • Пропускная способность для многопользовательских каналов значительно сложнее; каналы с помехами не имеют пропускной способности в замкнутой форме

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Предоставляет фундаментальный предел, независимый от конкретного дизайна кода/модуляции
  • Элегантная формула в замкнутой форме для каналов АБГШ
  • Расширяется на каналы с замираниями, помехами, многопользовательские каналы с помощью информационно-теоретических обобщений
  • Мотивирует всю область теории кодирования (турбо-, LDPC-, полярные коды — все приближаются к пропускной способности)
  • Инвариантна относительно технологий: формула пропускной способности действительна для оптических, ВЧ, акустических каналов
  • Позволяет проводить анализ компромиссов: исследует выгоды от расширения полосы пропускания, увеличения мощности или разнообразия

Применение

  • Проектирование беспроводных систем: анализ пропускной способности направляет выбор антенн, бюджеты мощности и цели по спектральной эффективности в LTE/5G
  • Спутниковая связь: пределы пропускной способности устанавливают реалистичные ожидания относительно скорости загрузки с зондов дальнего космоса
  • Связь по оптическому волокну: формула пропускной способности информирует о стратегиях мультиплексирования по длинам волн и усиления
  • Системы хранения данных: границы пропускной способности определяют избыточность коррекции ошибок, необходимую для надежного архивного хранения на HDD/SSD
  • Проектирование сетей: анализ многопользовательской пропускной способности направляет распределение ресурсов и контроль доступа

Как это работает

Как это работает

1

Источник информации генерирует символы со скоростью R (бит в секунду) для передачи.

2

Для канала АБГШ: пропускная способность C = B log2(1 + P/N0 B), где B — полоса пропускания, P — мощность сигнала, N0 — спектральная плотность мощности шума.

3

Для каналов с замираниями: пропускная способность зависит от состояния канала; средняя пропускная способность равна C = интеграл по распределению состояний канала от B log2(1 + |h|^2 P / N0 B).

4

Модель канала включает: передаваемый сигнал X, замирающий канал h, аддитивный шум Z. Принятый сигнал Y = h*X + Z.

5

Надежная передача со скоростью R возможна тогда и только тогда, когда R ≤ C. Если R > C, произвольно малая вероятность ошибки не может быть достигнута, независимо от сложности кода.

Частые ошибки

  • Предполагается, что пропускная способность легко достижима; разрыв между теорией и практикой велик для коротких пакетов
  • Игнорирование эффектов конечной длины блока; асимптотическая пропускная способность предполагает бесконечную длину кодовых слов
  • Не учитывает обратную связь; ограниченная обратная связь может значительно увеличить пропускную способность
  • Предполагается пропускная способность канала с замираниями при частичной информации о состоянии канала (CSI); ошибки оценки канала снижают эффективную пропускную способность
  • Ожидание, что пропускная способность будет достижима с помощью простых схем; коды, достигающие пропускной способности, сложны (турбо-, LDPC-, полярные)

Часто задаваемые вопросы

Каково соотношение между пропускной способностью Шеннона и спектральной эффективностью?

Спектральная эффективность (бит в секунду на Герц) ограничена пропускной способностью, деленной на полосу пропускания: η ≤ C/B. Для АБГШ η ≤ log2(1 + S/N). Если полоса пропускания системы равна B, а мощность — P, то спектральная эффективность равна η = C/B. По мере увеличения отношения сигнал/шум спектральная эффективность растет логарифмически; жесткого предела нет, но есть убывающая отдача.

Как обратная связь влияет на пропускную способность?

Для беззабывающего канала АБГШ Шеннон доказал, что пропускная способность не изменяется при наличии обратной связи: с точки зрения теории информации, обратная связь не может увеличить пропускную способность. Однако обратная связь позволяет использовать адаптивное кодирование (регулирование скорости на основе CSI), что может улучшить практическую производительность. Для каналов с памятью или задержкой обратной связи пропускная способность может увеличиться.

Что такое метод заливки водой и почему он оптимален для каналов с замираниями?

Метод заливки водой (water-pouring) — это оптимальная стратегия распределения мощности для каналов с замираниями: больше мощности выделяется, когда канал хороший (высокий коэффициент усиления), и меньше — когда плохой (низкий коэффициент усиления). Математически мощность P(h) = max(0, λ - N0 / |h|^2), где λ — множитель Лагранжа, установленный для удовлетворения общего ограничения по мощности. Это максимизирует эргодическую пропускную способность.

Можно ли превысить пропускную способность с помощью хитроумного кодирования?

Нет. Теорема Шеннона о кодировании в зашумленном канале является фундаментальным пределом: если скорость передачи превышает пропускную способность, вероятность ошибки не может быть сделана произвольно малой, независимо от сложности кода или алгоритма декодирования. Теорема гласит, что достижение скорости R < C с произвольной вероятностью ошибки ε > 0 требует длины блока, экспоненциально зависящей от 1/ε.

Похожие методы

Источники

  1. Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379-423.

    Открыть ссылку DOI
    Скопировано.
  2. Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. John Wiley & Sons.

    Открыть ссылку на публикацию
    Скопировано.