《信息论与编码》实验报å‘?/p>
姓名
ï¼?/p>
班级
ï¼?/p>
学号
ï¼?/p>
å¹?/p>
�/p>
实验一:绘制信源熵函数曲线
一、实验目çš?/p>
1.
掌握离散信源熵的原理和计算方法ã€?/p>
2.
熟悉
matlab
软件的基本操作,
练习应用
matlab
软件进行信源熵函数曲线的绘制ã€?/p>
3.
理解信源熵的物理意义,并能从信源熵函数曲线图上进行解释其物理意义ã€?/p>
二、实验原ç�?/p>
1.
离散信源相关的基本概念、原理和计算公式
产生离散信息的信源称为离散信源。离散信源只能产生有限种符号ã€?/p>
假定
X
是一个离散随机变量,即它的取值范å›?/p>
R
={
x
1
ï¼?/p>
x
2
ï¼?/p>
x
3
,�/p>
}
是有限或可数的。设ç¬?/p>
i
个变é‡?
x
i
发生的概率为
p
i
=
P
{X=
x
i
}
。则ï¼?/p>
定义一个随机事件的自信息量
I
ï¼?/p>
x
i
)为其对应的随机变量
x
i
出现概率对数的负值。即ï¼?/p>
I
ï¼?/p>
x
i
ï¼?/p>
= -log
2
p
(
x
i
)
定义随机事件
X
的平均不确定åº?/p>
H
ï¼?/p>
X
)为离散随机变量
x
i
出现概率的数学期望,即:
�/p>
�/p>
�/p>
�/p>
�
i
i
i
i
i
i
x
p
x
p
x
I
x
p
X
H
)
(
log
)
(
)
(
)
(
)
(
单位ä¸?/p>
比特
/
符号
�/p>
比特
/
符号序列ã€?/p>
平均不确定度
H
ï¼?/p>
X
)的定义公式与热力学中熵的表示形式相同,所以又把平均不确定åº?/p>
H
ï¼?/p>
X
)称
为信æº?/p>
X
的信源熵ã€?/p>
必须注意一下几点:
a)
某一信源,不管它是否输出符号,只有这些符号具有某些概率特性,必有信源的熵值;è¿?/p>
熵值是在总体平均上才有意义,因而是个确定值,一般写æˆ?/p>
H
ï¼?/p>
X
ï¼?/p>
ï¼?/p>
X
是指随机变量的整
体(包括概率分布ï¼?/p>
�/p>