Лучшие тарифы

выгодный
3.5 руб/мин
безлимит
160 рублей
Безлимит на свои операторы
120 руб
Безлимит
299 руб
Замечательный тариф
99 руб

Реклама

2.2.2. Теорема Шеннона для дискретного источника

2.2.2. Теорема Шеннона для дискретного источника

ЭНЦИКЛОПЕДИЯ WiMAX ПУТЬ К 4G - В. Портной

2.2.2. Теорема Шеннона для дискретного источника

Предельные возможности статистического кодирования раскрываются в теоре­ме Шеннона для дискретного источника, что является одной из основ теории передачи информации. Эта теорема может быть сформулирована для кодовых слов одинаковой длины следующим образом [1].

Пусть дискретный источник без памяти имеет конечную энтропию Н{и). Рассмотрим кодирование последовательностей из Ь букв источника в последо­вательности из N кодовых букв, принадлежащих кодовому алфавиту объемом Б. С каждой кодовой последовательностью может сопоставляться только одна последовательность источника. Пусть Р, -- вероятность появления последова- и. п.ности источника, которой не соответствует никакая кодовая последователь­ность. Тогда, если при каком-либо Ь > О

ЩЬ>[И(и) + Ю/ОЕР,

то величину /', можно сделать произвольно малой, выбирая значение Ь доста­точно большим.

Обратно, если

^Ь < [Н(Ц) - Ъ]/\о&Б.

то Ре становится сколь угодно близкой к когда Ь становится достаточно большим.

Эта теорема имеет достаточно простое и эвристическое обоснование. Можно закодировать буквы произвольного дискретного источника без памяти таким образом, что энтропия кодовых букв будет максимальной.

В случае кодовых слов разной длины теорема имеет следующий вид [1].

Пусть источник сообщений имеет конечный ансамбль и и энтропию Н(и). Имеется кодовый алфавит из Б символов. Можно так приписать кодовые слова буквам источника, что будет выполняться свойство префикса и средняя длина кодового слова ^ будет удовлетворять условию

- иУгр<1Г(!/)/!од£> + I.