Расчет информационных характеристик источников сообщений, сигналов и каналов

4) Итак, была найдена энтропия объединённого ансамбля. Далее по заданию требуется определить условные энтропии ансамблей H(X/Y) и H(Y/X). Формулу условной энтропии можно получить из формулы количества информации, содержащейся Y относительно X и наоборот.

1.2 Задача № 1.66

Принимаемый сигнал может иметь амплитуд

у (событие ) или (событие ), а также сдвиг фазы (событие ) или (событие ) режимах. Вероятности совместных событий имеют следующие значения:

; ; ;.

Вычислить количество информации получаемой о фазовом сдвиге сигнала, если станет известной его амплитуда.

Решение:

Количество информации вычисляется по формуле:

Величина I(Y,X) показывает, сколько в среднем бит информации о реализации ансамбля Y дает наблюдение реализации ансамбля Z. Подставив в эту формулу в выражение для вычисления энтропии и условной энтропии:

Учитывая, что

,

последнее выражение можно записать в виде:

Вычисляются необходимые величины.

p(y1) = p(x1, y1) + p(x2, y1) = 0.47 + 0.27 = 0.74

p(y2) = p(x1, y2) + p(x2, y2) = 0.17 + 0.09 = 0.26

p(x1) = p(x1, y1) + p(x1, y2) = 0.47 + 0.17 = 0.64

p(x2) = p(x2, y1) + p(x2, y2) = 0.27 + 0.09 = 0.36

Все величины подставляются в формулу:

1.3 Задача № 1.84

Дискретный источник выбирает сообщения из ансамбля

.

Длительности сообщений соответственно равны: tu1=0,96 c, tu2=0,44 c, tu3=0,67 c, tu4=0,39 c. Определить производительность источника.

Решение:

Производительность источника рассчитывается по формуле,

где T – время, затрачиваемое в среднем на каждое сообщение при передаче, и определяемое в соответствии со следующим выражением:

а энтропия источника H(U) в соответствии с формулой (1.4) [1] равна:

Итак, производительность источника равна:

2. Расчёт информационных характеристик дискретного канала

2.1 Задача № 2.23

На вход дискретного симметричного канала, показанного на рисунке 2, без памяти поступают двоичные символы и с априорными вероятностями p(U1)=0,75 и p(U2)=0,25.

Рисунок 2 – Дискретный симметричный канал

Переходные вероятности в таком канале задаются соотношением

,

где p=0,1 – вероятность ошибки. Определить все апостериорные вероятности .

Решение:

- переходные вероятности того, что на выходе будет символ zj при условии, что на входе был символ ui.

- апостериорные вероятности того, что на входе канала имел место символ ui при условии, что на выходе наблюдается zj.

По формуле Байеса:

Итак,

2.2 Задача № 2.48

Двоичный источник с равновероятными элементами имеет производительность U’=1500 бит в секунду. При передачи по каналу в среднем один из 100 символов принимается ошибочно. Определить скорость передачи инфориации по данному каналу.

Решение:

U1 Z1 “1”

U2 Z2 “0”

Рисунок 3 – Дискретный канал

Ситуация в канале характеризуется данным рисунком 3. В среднем один из 100 символов принимается ошибочно, поэтому вероятность ошибки будет составлять ро=1/100=0,01. Тогда вероятность правильного принятия будет вычисляться из следующего выражения: 1-р0=1-0,01=0,99.

Таким образом, канал описывается распределением вероятностей:

P(Z1/U1)=P(Z2/U2)=0,99

P(Z1/U2)=P(Z1/U2)=0,01

P(U1)=P(U2)=0,5- дано по условию

Скорость передачи информации вычисляется по формуле:

I’(U,Z)=H’(U)-H’(U/Z),

а энтропия будет равна 1 биту, так как

0,5log2+0,5log2=1

H’(U)=VC*H(U), где VC=1500 c-1

I’(U,Z)=H’(U)-H’(U/Z)

H’(U/Z)=VC*H(U/Z)

Условные вероятности можно найти по формуле Байеса:

H(U/Z)=-P(Z1)[P(U1/Z1)log2P(U1/Z1)+P(U2/Z1)log2P(U2/Z1)]-P(Z2)[P(U1/Z2)log2P(U1/Z2)+ P(U2/Z2)log2P(U2/Z2)]

H(U/Z)=-(0.5+0.5)(-2*0.99log(0.99)-2*0.01*log(0.01))=0.16

H’(U/Z)=VC*H(U/Z)=1500*0,16=241 (бит)

I’(U,Z)=H’(U)-H(U/Z)=1500-241=1259(бит/с)

3. Согласование дискретного источника с дискретным каналом

3.1 Задача № 3.23

Закодировать двоичным кодом Фано ансамбль сообщений {ai}:

{0.08, 0.001, 0.06, 0.09, 0.017, 0.18, 0.4, 0.06, 0.003, 0.027, 0.014, 0.068}

Закодировать произвольную комбинацию, состоящую из 5 символов из ансамбля{ai}. Определить потенциальный минимум среднего количества символов кода, приходящихся на одно сообщение ансамбля {ai} и среднее количество символов, разработанного кода Фано, приходящихся на одно сообщение из ансамбля {ai}. Рассчитать эффективность разработанного кода.

 Скачать реферат