1 / 5
5.1
设信?/p>
1
2
3
4
5
6
7
(
)
0.2
0.19
0.18
0.17
0.15
0.1
0.01
X
a
a
a
a
a
a
a
p
X
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?
?/p>
?/p>
?/p>
?
(1)
求信源熵
H(X)
?/p>
(2)
编二进制香农码;
(3)
计算平均码长和编码效?/p>
.
解:
(1)
7
2
1
2
2
2
2
2
2
(
)
(
)log
(
)
0.2
log
0.2
0.19
log
0.19
0.18
log
0.18
0.17
log
0.17
0.15
log
0.15
0.1
log
0.1
0.01
log
0.01
2.609
/
i
i
i
H
X
p
a
p
a
bit
symbol
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
(2)
a
i
p(a
i
)
p
a
(a
j
)
k
i
码字
a
1
0.2
0
3
000
a
2
0.19
0.2
3
001
a
3
0.18
0.39
3
011
a
4
0.17
0.57
3
100
a
5
0.15
0.74
3
101
a
6
0.1
0.89
4
1110
a
7
0.01
0.99
7
1111110
(3)
7
1
(
)
0.2
3
0.19
3
0.18
3
0.17
3
0.15
3
0.1
4
0.01
7
3.141
(
)
(
)
/
2.609
3.141
83.1%
i
i
i
K
k
p
x
H
X
H
X
K
R
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
?/p>
5.2
对习?/p>
5.1
的信源编二进制费诺码,计算编码效?/p>
.
解:
a
i
p(a
i
)
编码
码字
k
i
a
1
0.2
0
0
00
2
a
2
0.19
1
0
010
3
a
3
0.18
1
011
3
a
4
0.17
1
0
10
2
a
5
0.15
1
0
110
3
a
6
0.1
1
0
1110
4
a
7
0.01
1
1111
4