Лучшие тарифы

выгодный
3.5 руб/мин
безлимит
160 рублей
Безлимит на свои операторы
120 руб
Безлимит
299 руб
Замечательный тариф
99 руб

Реклама

Список терминов и летературы.

Список терминов и летературы.

ЭНЦИКЛОПЕДИЯ WiMAX ПУТЬ К 4G - В. Портной

Более того, для любого однозначно декодируемого множества кодовых слов

Полученный результат позволяет дать следующее толкование энтропии: эн­тропия источника есть наименьшее количество двоичных символов на сообщение на выходе наилучшего кодера для этого источника при условии, что сообщения могут быть восстановлены по выходу кодера сколь угодно точно.

Естественно, возможно обобщение и на непрерывный случай.

Возможны различные варианты доказательства этой теоремы, иллюстриру­ющие два возможных подхода к построению эффективных кодов, основанных на использовании равномерного и неравномерного кодирования. При неравномер­ном кодировании обеспечивается однозначное декодирование всех сообщений.

Предложенный Шеннонокг метод гк}к|>ективного кодирования практически совпадает с методом, предложенным другим американским ученым Фано. по которому сообшение длины Ь. записанное в порядке невозрастания вероятно­стей. разделяется на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части припи­сывается в качестве первого символа 0. сообщениям второй части — 1. Затем каждая из этих частей (если она содержит более одного сообщения) опять де­лится на две примерно равные части, и в качестве второго символа для первой из них берется 0, а для второй - 1. Этот процесс повторяется до тех пор, по­ка в каждой из полученных частей не останется по одному сообщению. Именно такой пример и был рассмотрен в начале раздела.

Существуют и другие методы эффективного кодирования. Кодирование по методу Шеннона Фано, так же как и другими методами, может применять­ся не только к последовательностям из Ь-элементных сообщений, но и непо­средственно к источникам неравновероятных элементных сообщений. При этом уменьшается выигрыш в эффективности. В том случае, когда левая часть выше­приведенной системы неравенств обращается в равенство, имеем ^ = Н(и). Код. обладающий этим равенством, называется оптимальным. Для того чтобы сообщение источника можно было закодировать двоичным оптимальным кодом, необходимо и достаточно, чтобы все вероятности источника сообщения пред­ставляли собой числа, равные целой отрицательной степени числа 2.