2-1
同时掷两个正常的骰子,也就是各面呈现的概率都?/p>
1/6
,求?/p>
?/p>
1
?/p>
?/p>
3
?/p>
5
同时出现?/p>
这事件的自信息量?/p>
?/p>
2
?/p>
“两?/p>
1
同时出现?/p>
这事件的自信息量?/p>
?/p>
3
)两个点数的各种组合(无序对)的熵或平均信息量?/p>
?/p>
4
)两个点数之和(?/p>
2
?/p>
3
,…,
12
构成的子集)的熵?/p>
?/p>
5
)两个点数中至少有一个是
1
的自信息?/p>
解:
?/p>
1
)设
X
为?/p>
3
?/p>
5
同时出现’这一事件,则
P
?/p>
X
?/p>
=1/18
,因?/p>
17
.
4
18
log
)
(
log
)
(
2
2
?/p>
?/p>
?/p>
?/p>
x
p
X
I
(
比特
)
?/p>
2
)设‘两?/p>
1
同时出现’这一事件?/p>
X
,则
P
?/p>
X
?/p>
=1/36
,因?/p>
17
.
5
36
log
)
(
log
)
(
2
2
?/p>
?/p>
?/p>
?/p>
x
p
X
I
(
比特
)
(3 )
?/p>
两个相同点数出现
?/p>
这一事件的概率为
1/36,
其他事件的概率为
1/18,
?/p>
337
.
4
18
log
18
15
36
log
36
6
)
(
2
2
?/p>
?/p>
?/p>
X
H
(
比特
/
组合
)
?/p>
4
?/p>
2
2
2
2
2
2
1
1
1
1
1
1
(
)
[
log
36
log
18
(
)log
12
(
)log
9
36
18
18
36
18
18
1
1
1
36
1
1
1
(
)log
]
2
(
)log
6
3.44(
/
)
18
18
36
5
18
18
18
H
X
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
比特
两个点数之和
?/p>
5
)两个点数至少有一个为
1
的概率为
P
?/p>
X
?/p>
= 11/36
71
.
1
36
11
log
)
(
2
?/p>
?/p>
?/p>
X
I
(比特)
2-6
设有一离散无记忆信源,其概率空间为
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
8
/
1
3
4
/
1
2
4
/
1
1
8
/
3
0
4
3
2
1
x
x
x
x
P
X
该信源发出的信息符号序列为(
202 120 130 213 001 203 210 110 321 010 021 032
011 223 210
?/p>
,求?/p>
?/p>
1
?/p>
此信息的自信息量是多少?
?/p>
2
?/p>
在此信息中平均每个符号携带的信息量是多少?/p>
解:
?/p>
1
)由无记忆性,可得
序列?/p>
(比?/p>
/
18
.
87
)
3
(
6
)
2
(
12
)
1
(
13
)
0
(
14
?/p>
?/p>
?/p>
?/p>
?/p>
I
I
I
I