Расчет информационных характеристик источников сообщений, сигналов и каналов

Решение.

Кодируется кодом Фано заданный ансамбль сообщений следующим образом.

Таблица 1 - Кодирование ансамбля сообщений {ai} двоичным кодом Фано

Сообщения источника располагаются в порядке не возрастания их вероятностей, делятся на две части так, чтобы суммарные вероятности сообщений в каждой части были по возможности равны. Сообщениям первой части приписывается в качестве первого символа нуль, а сообщениям второй части единица. Затем каждая из этих частей (если она содержит более одного сообщения) опять делится на две примерно равные части и в качестве второго символа для первой из них берется 0, а для второй 1. Этот процесс повторяется до тех пор, пока в каждой из полученных частей не останется по одному сообщению.

После использования полученных комбинаций символов, закодируется произвольная комбинация, состоящая из 5 символов из ансамбля {ai}: 101011111110010011110.

Среднее количество символов, приходящихся на одно сообщение, определяется по формуле 2.9 курса лекций:

,

где ms – количество позиций, а ps – вероятность сообщения из ансамбля {ai}.

Определяется минимальное среднее количество символов, приходящихся на одно сообщение, по формуле

,

где M – объем алфавита кода, равный 2, а H(U) энтропия источника.

Далее находится энтропия:

Затем вычисляется величина ψ-эффективность кода, которая характеризует степень близости неравномерного статистического кода к оптимальному.

3.2 Задача № 3.56

Определить избыточность оптимального по Шеннону кода (существование которого утверждается теоремой для канала с шумом) с объемом алфавита m и средним количеством символов, переданных в единицу времени Vk, предназначенного для безошибочной передачи информации по каналу с пропускной способностью С.

Найти минимально возможную избыточность оптимального кода для симметричного канала при m = 8 и вероятности ошибки P = 0,08.

Решение:

Избыточность кода вычисляется по следующей формуле:

,

где H¢(Z)=Vk*H(Z)

Так как передача информации предполагается безошибочной, то кодирование должно быть однозначным, то есть потери информации при кодировании должны отсутствовать. Это означает, что:

H¢(Z)=H¢(U),

где H¢(U)- производительность источника, который передает информацию.

В соответствии с условием теоремы Шеннона

H¢(U) < C, а H(U) = С + ε = С; (ε→0),

тогда формула избыточности будет выглядеть следующим образом:

, при ε→0

Для двоичного симметричного канала справедливо выражение:

C=Vk*[1+p*log2p+(1-p)*log2(1-p)]

Подставив известные значения в формулы, получается:

C=Vk*0.6

4. Дискретизация и квантование

4.1 Задача № 4.23

Рисунок 4 - Непрерывный сигнал x(t), имеющий спектр X(jω) дискретизируется с частотой дискретизации ωд

Выполняется ли в данном случае условие теоремы Котельникова? Построить график спектра дискретизированного сигнала (изобразить 5 периодов спектра).Проиллюстрировать графически процесс восстановления спектра непрерывного сигнала с помощью идеального интерполирующего фильтра по спектру дискретного сигнала.

Решение:

При построении графика спектра дискретизированного сигнала (рисунок 4) исспользуется выражение (3.16) [1], причём для изображения 5 периодов спектра следует учесть 5 слагаемых:

Процесс восстановления спектра непрерывного сигнала с помощью идеального интерполирующего фильтра по спектру дискретного сигнала проиллюстрирован графически на рисунке 5, где первый график представляет собой частотную характеристику идеального фильтра низких частот, а - спектр сигнала на выходе интерполятора.

 Скачать реферат