Сайт o сименсе

2.4.2. Теорема Шеннона для канала с шумами

ЭНЦИКЛОПЕДИЯ WiMAX ПУТЬ К 4G - В. Портной

2.4.2. Теорема Шеннона для канала с шумами

Данная теорема является фундаментальным положением теории информации и называется также основной теоремой кодирования Шеннона. Она может быть сформулирована следующим образом.

Если энтропия источника сообщений H(U) меньше пропускной способно­сти канала С (H(U) < С), то существует такая система кодирования, которая обеспечивает возможность передачи сообщений источника со екать угодно ма­лой вероятностью ошибки (или со сколь угодно малой ненадежностью). Если H(L) > С, то можно закодировать сообщение таким образом, что ненадежность в единицу времени будет меньше, чем #(<*/) — С-1-е, где е стремится к нулю (пря­мая теорема).

Не существует способа кодирования, обеспечивающего ненадежность в еди­ницу времени меньшую, чем H(U) — С (обратная теорема).

В такой формулировке эта теорема была представлена Шенноном [2]. В лите­ратуре часто вторая часть прямой теоремы и обратная теорема объединяются в виде обратной теоремы, сформулированной так: если H(U) > С, то такого способа кодирования не существует.

Для доказательства первой части прямой теоремы используется множество длинных последовательностей .элементарных дискретных сообщений источни­ка длиной Т. распадающееся на подмножества высоковероятных или типичных и маловероятных или нетипичных последовательностей. Пусть при некотором ансамбле входных сигналов дискретного канала Л'У обеспечивается пропускная способность канала

С= max /(Л',У) = 0(0).Q(1)       Q(K-l)

Л-1 J-1

max                              У У Q(k)P(j) log

где Q(0), Q(l),..., Q(K — 1) — вероятности возникновения К букв на входе ка­ната. P(j/A:). * = 0,1,..., К-1; j =0,1, — J - 1 переходные вероятности для дискретного каната бел памяти с К входами и J выходами. I(X, Y) — средняя взаимная информация между входом X и выходом Y дискретного каната без памяти.