第一?/p>
绪论
1-1
英文字母?/p>
e
出现概率?/p>
0.105,
c
出现的概率为
0.023,
j
出现的概率为
0.001
。试分别?/p>
算它们的信息量?/p>
解题思路
:考查信息量的基本概念,用公式
1
log
(
)
a
I
P
?/p>
。底?/p>
a
一般采?/p>
2
,这时信息量
单位?/p>
bit
解:
bit
P
I
e
e
25
.
3
105
.
0
log
log
2
2
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
bit
P
I
c
c
44
.
5
023
.
0
log
log
2
2
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
bit
P
I
j
j
97
.
9
001
.
0
log
log
2
2
?/p>
?/p>
?/p>
?/p>
?/p>
1-2
有一?/p>
12
个符号组成的消息,每个符?/p>
?/p>
均有四种电平,设四种电平发生的概率相等,
试求这一组消息所包含的信息量。若每秒传输
10
组消息,则一分钟传输多少信息量?
解题思路?/p>
考查平均信息量及信息量叠加的概念?/p>
每个符号有四种等概电平可能,
因此先用
4
2
1
1
(
)
log
i
i
i
H
x
P
P
?/p>
?/p>
?/p>
计算?/p>
平均
信息量?/p>
整个消息的总信息量?/p>
12
个符号的各自平均信息
量(相等)的和?/p>
解:
?/p>
1
?/p>
12
?/p>
N
?/p>
4
,
3
,
2
,
1
,
4
1
?/p>
?
i
P
i
?/p>
每个符号的平均信息量?/p>
2
4
log
1
log
2
2
?/p>
?/p>
?/p>
?
i
P
I
比特
/
符号?/p>
则由
12
个符号组成的一
组消息的信息量为
bit
I
N
I
24
*
?/p>
?/p>
?
?/p>
2
)每秒传?/p>
10
组消息,则一分钟传输
10
×
60
组信息,因此信息传输速率?/p>
10
×
60
×
24
比特
/
分钟?/p>
14400
比特
/
分钟
1-
3
消息序列是由
4
种符?/p>
0
?/p>
1
?/p>
2
?/p>
3
组成的,四种符号出现的概率分别为
3/8
?/p>
1/4
?/p>
1/4
?/p>
1/8
?/p>
而且每个符号出现都是相互独立的,
求下列长度为
58
个符号组成的消息序列
?/p>
2 0 1 0 2
0 1 3 0 3 2 1 3 0 0 1 2 0 3 2 1 0 1 0 0 3 2 1 0 1 0 0 2 3 1 0 2 0 0 2 0 1 0 3 1 2 0 3 2 1 0 0 1 2 0 2 1
0
”的信息量和每个符号的平均信息量?/p>
解题思路
?/p>
考查平均信息量的概念?/p>
可以先求出每个符号的信息量,
根据消息序列中各符号
出现的次数得到消息序列的总信息量?/p>
再用符号数平均从而得到符号平均信息量?/p>
也可以先
根据
4
2
1
1
(
)
log
i
i
i
H
x
P
P
?/p>
?
?/p>
直接求出这四种符号的平均信息量,再根据消息序列中符号个数
得到消息序列的总平均信息量?/p>
解:方法一?/p>
0
?/p>
1
?/p>
2
?/p>
3
每符号各自携带的信息量分别为
0
2
3
log
1.415
8
I
bit
?/p>
?/p>
?/p>
?/p>
bit
2
4
1
log
I
2
1
?/p>
?/p>
?/p>
?/p>