Тестовые задания по дисциплине «Теория информации и энтропии»

№1

В цифровых магнитофонах DAT частота дискретизации - 48 КГц. Какова максимальная частота звуковых волн, которые можно точно воспроизводить на таких магнитофонах?

А) 21 КГц

B) 22 КГц

C) 23 КГц

D) 24 КГц

E) 25 КГц

№2

Сколько бит в одном килобайте?

A) 8189

B) 8190

C) 8191

D) 8192

E) 8193

№3

Какое из соотношений несет в себе больше информации х=5 или х>3?

A) x=3

B) x<3

C) x>5

D) x=5

E) x<5

№4

Найти энтропию д. с.в. Х, заданной распределением

  Х  1  2  3  4  5  6  7  8

  Р  0,1  0,2  0,1  0,05  0,1  0,05  0,3  0,1

A) 2.72 бит/сим

B) 2.73 бит/сим

C) 2.74 бит/сим

D) 2.75 бит/сим

E) 2.77 бит/сим

№5

Значения д. с.в. Х1 и Х2 определяются подбрасыванием двух идеальных монет, а д. с.в. Y равна сумме количества «гербов», выпавших при подбрасывании этих монет. Сколько информации об Х1 содержится в Y?

A) 0.35 бит/сим

B) 0.45 бит/сим

C) 0.5 бит/сим

D) 0.55 бит/сим

E) 0.6 бит/сим

№6

Сколько информации об Х1 содержится в д. с.в. Z = ( Х1+1)І - Х2, где независимые д. с.в. Х1 и Х2 могут с равной вероятностью принимать значение либо 0, либо 1? Найти НХ1 и НZ. Каков характер зависимости между Х1 и Z?

A) I(Z, X1)=I(X1,X1)=НХ1=0.5 бит/сим; НZ=1  бит/сим 

B) I(Z, X1)=I(X1,X1)=НХ1=1 бит/сим; НZ=2 бит/сим

C) I(Z, X1)=I(X1,X1)=НХ1=1.5 бит/сим; НZ=3 бит/сим

D) I(Z, X1)=I(X1,X1)=НХ1=2 бит/сим; НZ=4 бит/сим

НЕ нашли? Не то? Что вы ищете?

E) I(Z, X1)=I(X1,X1)=НХ1=2.5 бит/сим; НZ=5 бит/сим

№7

Д. с.в. Х1, Х2 – зависимы и распределены также как и соответствующие д. с.в. из предыдущей задачи. Найти I(Х1, Х2), если совместное распределение вероятностей Х1 и Х2 описывается с законом

  Х1  0  0  1  1

  Х2  0  1  0  1

  р  1/3  1/6  1/6  1/3

A) I(X1,X2)= 0.07 бит/сим

B) I(X1,X2)= 0.08 бит/сим

C) I(X1,X2)= 0.09 бит/сим

D) I(X1,X2)= 1 бит/сим

E) I(X1,X2)= 0.01 бит/сим

№8

Д. с.в. Х1 и Х2 определяются подбрасыванием двух идеальных тетраэдров, грани которых помечены числами от 1 до 4. Д. с.в. Y равна сумме чисел, выпавших при подбрасывании этих тетраэдров, т. е. Y=Х1+Х2. Вычислить І(Х1, Ү), Н Х1 и Н Ү.

A) І(Х1 Ү)=0.65; Н Х1=2; Н Ү=2.63

B) І(Х1,Ү)=0.66; Н Х1=2; Н Ү=2.65

C) І(Х1,Ү)=0.66; Н Х1=2; Н Ү=2.64

D) І(Х1,Ү)=0.67; Н Х1=1; Н Ү=2.67

E) І(Х1,Ү)=0.66; Н Х1=3; Н Ү=2.68

№9

Подсчитать сколько информации об Х1 содержится в д. с.в. Z= Х1 * Х2, а также НZ. Д. с.в. Х1 и Х2 берутся из предыдущего упражнения.

A) I(Z, Х1)=1.08; НZ=3.05

B) I(Z, Х1)=1.09; НZ=3.03

C) I(Z, Х1)=1.01; НZ=3.06

D) I(Z, Х1)=1.07; НZ=3.08

E) I(Z, Х1)=1.08; НZ=3.08

№10

Д. с.в. Х1 может принимать три значения – 1, 0 и 1 с равными вероятностями. Д. с.в. Х2  с равными вероятностями может принимать значения 0, 1 и 2. Х1 и Х2 - независимы. Y= Х1І + Х2. Найти I (Х1, Ү), I (Х2, Ү), НХ1, НХ2, НҮ.

A) I (Х1, Ү)=0.3; I(X2,Y)=0.97;НХ1= НХ2=1.25; НҮ=1.87

B) I (Х1, Ү)=0.31; I(X2,Y)=0.91; НХ1= НХ2=1.57; НҮ=1.99

C) I (Х1, Ү)=0.32; I(X2,Y)=0.97;НХ1= НХ2=1.56; НҮ=1.77

D) I(Х1,Ү)=0.31; I(X2,Y)=0.97;НХ1= НХ2=1.58; НҮ=1.89.

E)I(Х1,Ү)=0.31; I(X2,Y)=0.97;НХ1=НХ2=1.58;НҮ=1.88


№11

Найти энтропии д. с.в. Х, Ү, Z и количество информации, содержащейся в Z = Х + Y относительно Ү. Х и Y - независимы и задаются распределениями

  Х  0  1  3  4  Y  -2  2

  Р  1/8  1/8  1/4  1/2  р  3/8  5/8

A) HX=1.25; HY=0.85; HZ=2.27; I(X, Y)=0.76

B) HX=1.74; HY=0.55; HZ=2.37; I(X, Y)=0.75

C) HX=1.24; HY=0.75; HZ=2.57; I(X, Y)=0.74

D) HX=1.75; HY=0.95; HZ=2.47; I(X, Y)=0.73

E) HX=1.75; HY=0.95; HZ=2.47; I(X, Y)=0.72

  №12

Найти энтропию д. с.в. Х и среднюю длину каждого из приведенных кодов для этой д. с.в.

X

1

3

4

5

6

p

0.4

0.2

0.1

0.2

0.1

code1(X)

000

001

010

011

111

code2(X)

0

100

101

110

111

code3(X)

00

01

110

10

111

code4(X)

0

10

1110

110

1111

А) ML1(X)=3; ML2,3,4=2.2; HX=2.12.

Б) ML1(X)=2; ML2,3,4=2.3; HX=2.2.

С) ML1(X)=1; ML2,3,4=2.4; HX=2.15.

Д) ML1(X)=4; ML2,3,4=2.8; HX=2.12.

Е) ML1(X)=5; ML2,3,4=2; HX=2.12.

№13

Д. с.в. Х равна количеству «гербов», выпавших на двух идеальных монетах. Найти энтропию Х. Придумать минимальный код для Х, вычислить его среднюю длину и обосновать его минимальность.

A) ML(X)=HX=1.2

B) ML(X)=HX=2

C) ML(X)=HX=1.5

D) ML(X)=HX=3

E) ML(X)=HX=1

№14

Д. с.в. Х задана распределением Р(X = 2n) = 1/2n, n = 1,2…  Найти энтропию этой  д. c.в.  Придумать минимальный код для Х,  вычислить его среднюю длину и  обосновать его минимальность.

A) ML(X)=HX=2;

B) ML(X)=HX=2;

C) ML(X)=HX==1;

D) ML(X)=HX==3;

E) ML(X)=HX==4;

№15

Про д. с.в. Х известно, что что ее значениями являются буквы кириллицы. Произведен ряд последовательных измерении Х, результат которых –“ТЕОРИЯИНФОРМАЦИИ”. Составить на основании этого результата приблизительный закон распределения вероятности этой д. с.в. и  оценить среднюю длину кодов для Х.

A) ML(X)≥HX=3.26

B) ML(X) ≥HX=3.25

C) ML(X) ≥HX=3.27

D) ML(X) ≥HX=3.28

E) ML(X) ≥HX=3.29

№16

Вычислить inf(s) и  cont(s) предложения  s1, про которое известно, что оно достоверно на 50%, и предложения s2, достоверно которого 25%.

A) inf(s1)=1;cont(s1)=2; inf(s2)=0.5; cont(s2)=0.75

B) inf(s1)=1;cont(s1)=3; inf(s2)=0.35 cont(s2)=0.75

C) inf (s1)=4;cont(s1)=5; inf(s2)= 0.45;cont(s2)= 0.65

D) inf(s1)=2;cont(s1)=1; inf(s2)= 0.25;cont(s2)=0.95

E) inf(s1)=1;cont(s1)=3; inf(s2)= 0.5;cont(s2)=0.85

№17

Вычислить ML1(X) для блочного кода Хаффмена для Х. Длина блока -2 бита. Д. с.в. Х берется из последнего примера.

A) 1.58

B) 1.56

C) 1.55

D) 1.59

E) 1.60

№18

Вычислить HX  и  ML(X )для кодов Хаффмена и Шеннона-Фэно для Х. Д. с.в Х задается следующим распределением вероятностей:

X

1

2

3

4

5

р

7/18

1/6

1/6

1/6

1/9

A) Код Хаффмена - ML(X)=2.21;HX=2.15 ;Код Шеннона-Фэно-ML(X)=2.28

B) Код Хаффмена - ML(X)=2.22;HX=2.16; Код Шеннона-Фэно-ML(X)=2.27

C) Код Хаффмена - ML(X)=2.22;HX=2.17;Код Шеннона-Фэно-ML(X)=2.28

D) Код Хаффмена - ML(X)=2.2;3HX=2.18; Код Шеннона-Фэно-ML(X)=2.21

E) Код Хаффмена - ML(X)=2.24;HX= 2.19;Код Шеннона-Фэно-ML(X)=2.23

№19

Вычислить среднее количество бит на единицу сжатого сообщения о значении каждой из д. с.в. , из заданных следующими  распределениями вероятностей, при сжатии методами Шеннона-Фэно, Хаффмена и арифметическим.

Х1

1

2

3

4

Р

1/3

1/3

1/6

1/6

Х2

1

2

5

6

7

р

0.2

0.1

0.3

0.25

0.15

Х4

-2

-1

0

1

2

р

1/3

1/4

1/5

1/6

1/20

Х3

1

4

9

16

25

36

49

р

0.1

0.1

0.1

0.3

0.1

0.1

0.2

A) Шеннона-Фэно, Хаффмена: ML1(X1)=2 бит/сим.; ML1(X2)=2.25 бит/сим.; ML1(X3)=2.7 бит/сим.; ML1(X4)=213∕60; Арифметический: ML1(X1)=15/6 бит/сим.; ML1(X2)=2.05 бит/сим.; ML1(X3)=2.3 бит/сим.; ML1(X4)=21/60 бит/сим.

B) Шеннона-Фэно, Хаффмена: ML1(X1)=12 бит/сим.; ML1(X2)=2.95 бит/сим.; ML1(X3)=92.7 бит/сим.; ML1(X4)=213∕60; Арифметический: ML1(X1)=15/6 бит/сим.; ML1(X2)=2.05 бит/сим.; ML1(X3)=2.3 бит/сим.; ML1(X4)=621/60 бит/сим.

C) Шеннона-Фэно, Хаффмена: ML1(X1)=12 бит/сим.; ML1(X2)=2.06 бит/сим.; ML1(X3)=6.7 бит/сим.; ML1(X4)=213∕60; Арифметический: ML1(X1)=15/6 бит/сим.; ML1(X2)=5.05 бит/сим.; ML1(X3)=2.3 бит/сим.; ML1(X4)=81/60 бит/сим.

D) Шеннона-Фэно, Хаффмена: ML1(X1)=3 бит/сим.; ML1(X2)=9 бит/сим.; ML1(X3)=92.7 бит/сим.; ML1(X4)=213∕60; Арифметический: ML1(X1)=15/6 бит/сим.; ML1(X2)=5 бит/сим.; ML1(X3)=2.3 бит/сим.; ML1(X4)=8 бит/сим.

E) Шеннона-Фэно, Хаффмена: ML1(X1)=5 бит/сим.; ML1(X2)=7 бит/сим.; ML1(X3)=6 бит/сим.; ML1(X4)=6; Арифметический: ML1(X1)=15/6 бит/сим.; ML1(X2)=5 бит/сим.; ML1(X3)=2.3 бит/сим.; ML1(X4)=621/60 бит/сим.

№20

Вычислить длины кодов Хаффмена и арифметического для сообщения AAB, полученного от д. с.в. Х со следующим распределением вероятностей Р(X=A)=1/3, P(X=B)=2/3.

A) L хаффмена=3; L арифметический=4

B) L хаффмена=2; L арифметический=3

C) L хаффмена=3; L арифметический=5

D) L хаффмена=4; L арифметический=7

E) L хаффмена=3; L арифметический=6