信息论实验报告

信息论实验姓名：邓梅学号：2013090102030实验一：信息度量方法1.实验目的：本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解2.实验原理：信源熵是信源的统计平均不确定性的描述，是概率p(x)的函数3.实验内容：有两个二元随机变量X,Y，他们的联合概率呈一定分布，同时定义另一随机变量Z=X*Y，求相关熵，条件熵及互信息实验二：哈夫曼编码1.实验目的：掌握哈弗曼编码的原理及编码步骤2.实验原理：①把信源发出的n个消息按其概率递减次序排列②把概率最小的两个消息分别编成“1”和“0”码元(即把概率较大的消息编为“1”，概率较小的消息编为“0”；或反之也可),并对这两个消息求概率之和③把上述的概率和作为一个新消息的概率，再与原来的其他消息按概率递减的次序排列④重复上述编码步骤②与③，直到概率和是1为止⑤从最终的编码步骤，在各个消息编码方向线的逆行程顺序地取下所编出的码元，构成相对的代码组3.实验内容：根据哈弗曼算法为某一信源进行哈弗曼编码，并计算其平均码长和编码效率相关程序及结果：（1）信源熵程序及结果（2）哈弗曼编码程序：运行结果：直接调用MATLAB中Huffman函数现实如下直接调用的结果：实验结论：通过本次实验，我对信源熵的概念更加了解了，同时也对MATLAB的应用更加熟练，尽管还有很多不足之处。在哈弗曼实验中，对矩阵的一些循环处理还不是很会，需要求助网络和相关资料书，接下来的学习时间中会加强对MATLAB的练习，