信息论与编码-教案

成都理工大学工程技术学院信息论与编码课程教案教师姓名刘晓丽所在系部电信系授课专业07通信课程代码总学时50学分教材名称信息论与编码2009年8月29日[首页]课程名称信息论与编码授课专业通信工程年级2007课程编号课程类型必修课公共基础课（）；专业基础课（是）；专业课（）选修课专业选修课()；公共选修课()教学目标通过本课程的学习，使学生对信息理论和编码理论有比较全面和系统的了解，掌握信息论的基本概念、基本理论和基本分析方法，包括信源熵、信道容量和信息率失真函数等；掌握常用的信源编码方法，包括香农编码、费诺编码、哈夫曼编码、矢量量化编码和预测编码等；掌握常用的信道编码，包括线性码、循环码等，为从事信息科学的研究和应用打下坚实的基础。授课方式课堂讲授（是）；实践课（）考核方式考试（是）；考查（）课程教学总学时数50学分数学时分配课堂讲授50学时；实践课0学时教材名称信息论与编码作者陈运出版社及出版时间电子工业出版社2007指定参考书信息论与编码作者姜丹出版社及出版时间中国科学技术大学出版社，2004授课教师刘晓丽职称助教单位电信系授课时间2009-2010第一学期周次第1周，第1次课编写时间2009.8.29章节名称1概论教学目的与要求：理解信息的概念、性质和分类，了解通信系统的构成及编码理论在其中的作用，了解信息论的起源、发展及研究内容。教学重点和难点：教学重点：信息的概念教学难点：香农信息论的三大定理教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1提出课堂纪律要求，强调本课程的重要性，介绍本课程的大体情况，讲解20分钟。2信息的概念，信息是认识主体所感受的或所表达的事物的运动状态和运动状态的变化方式。讲解10分钟3信息的性质，（1）普遍性：信息是普遍存在的。（2）无限性：信息是无限的。（3）相对性：对同一事物不同的观察者所获得的信息量可能不同。（4）转换性：信息可以在时间上或空间中从一点转移到另一点。（5）变换性：信息是可变的，它可以由不同的载体或不同的方法来载荷。讲解5分钟4信息的分类，（1）从性质分：语法信息、语义信息、语用信息。（2）按观察的过程分：实在信息、先验信息、实得信息。（3）按信息的地位分：客观信息、主观信息。（4）按作用分：有用信息、无用信息、干扰信息。讲解10分钟5模拟通信系统，该系统传递的是模拟信号，它在任意时刻的取值是任意的，是时间的连续函数。讲解10分钟6数字通信系统，该系统中传输的是数字信号，它只能取有限个离散值，且出现的时间也是离散的。讲解5分钟7信息论的发展简史，讲解10分钟8信息论的研究内容，研究目的是提高通信系统的可靠性和有效性。（1）可靠性高：使信源发出的消息经过传输后尽可能准确地不失真地再现在接收端。（2）有效性高：经济效果好，用尽可能短的时间和尽可能少的设备传送一定数量的信息。讲解10分钟9编码技术的发展，讲解10分钟作业及课外训练：参考资料（含参考书、文献等）：课后自我总结分析：引导学生正确认识本课程，虽然理论性有些强，但还不是太难学懂。周次第2周，第2次课编写时间2009.9.1章节名称2.1.1信源模型2.1.2自信息教学目的与要求：掌握信源的数学模型、信源符号的自信息量、条件自信息量、联合自信息量、互信息及其性质教学重点和难点：教学重点：自信息量、条件自信息量、联合自信息量、互信息及其性质教学难点：互信息及其性质教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1信源模型，获得信息量的多少与信源的不确定性的消除有关。不确定度——惊讶度——信息量，讲解5分钟2基本概率公式，p(bj|ai)是信道传递概率，称为前向概率，p(ai|bj)称为后向概率，也是输入符号的后验概率，p(ai)是输入符号的先验概率。讲解10分钟3自信息量，直观定义信息量为收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性，讲解10分钟4联合自信息量，讲解10分钟5条件自信息量，讲解10分钟6互信息量，讲解10分钟7互信息的性质，即对称性和可正可负，讲解25分钟8条件互信息，讲解10分钟作业及课外训练：2.1，2.2，2.3参考资料（含参考书、文献等）：课后自我总结分析：自信息量的概念还是比较容易理解的，关键是使学生明白互信息及其性质。周次第2周，第3次课编写时间2009.9.1章节名称2.1.3信源熵教学目的与要求：掌握信源熵及其主要性质、联合熵、条件熵教学重点和难点：教学重点：信源熵及其主要性质、联合熵、条件熵教学难点：信源熵主要性质的证明教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1关于自信息和互信息的几道典型题，讲解30分钟2信源熵是各离散消息自信息量的数学期望，即信源的平均信息量，信源熵和平均自信息量两者在数值上是相等的，但含义并不相同。信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的量度。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。讲解15分钟3熵函数的数学特性，即非负性、对称性、扩展性、确定性、可加性、极值性、上凸性，最大离散熵定理，讲解25分钟4条件熵，条件熵是在联合符号集XY上的条件自信息量的联合概率加权统计平均值。条件熵H(X|Y)表示收到全部输出符号后，对信道输出符号集还存在的平均不确定性，称为信道疑义度。条件熵H(Y|X)可以衡量信号通过信道后损失信息量的多少。讲解10分钟5联合熵，联合熵是在符号集XY上的每个元素对xiyj的自信息量的概率加权统计平均值，讲解10分钟作业及课外训练：2.4，2.5，2.7参考资料（含参考书、文献等）：课后自我总结分析：理解熵的概念和物理意义十分重要。周次第3周，第4次课编写时间2009.9.8章节名称2.1.5平均互信息2.1.6各种熵之间的关系教学目的与要求：掌握平均互信息的定义和性质，各种熵之间的关系教学重点和难点：教学重点：平均互信息的定义和性质，各种熵之间的关系教学难点：平均互信息的性质证明教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1一道计算各种熵的练习题，讲解20分钟2平均条件互信息的定义，在联合集XY上，由yj提供的关于集X的平均条件互信息量等于由yj提供的互信息量在整个X中的后验概率加权的平均值，讲解10分钟3平均互信息的定义和物理含义，平均互信息量是收到Y前、后关于X的不确定度减少的量，即由Y获得的关于X的平均信息量。平均互信息量是发送X前、后，关于Y的平均不确定度减少的量。平均互信息量等于通信前、后，整个系统不确定度减少的量。，讲解15分钟4各种熵之间的关系，讲解15分钟5平均互信息的数学性质，即非负性、对称性、极值性等，讲解30分钟作业及课外训练：参考资料（含参考书、文献等）：课后自我总结分析：周次第3周，第5次课编写时间2009.9.8章节名称2.1.4加权熵的概念及基本性质教学目的与要求：理解平均互信息的凸函数性、数据处理定理，了解加权熵的概念及基本性质教学重点和难点：教学重点：平均互信息的凸函数性的证明教学难点：平均互信息的凸函数性的证明教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1平均互信息的凸函数性，以二进制信源送入二进制对称信道为例，仔细推导最后得出结论，平均互信息量是信源概率分布p(x)和信道传递概率p(x|y)的凸函数。讲解55分钟2数据处理定理，讲解20分钟3加权熵的概念及基本性质，加权熵从某种程度上反映了人的主观因素。信源平均每发出一个消息，总能提供一定的信息量，最差是零。信源空间中概率分量的微小波动，不会引起加权熵值的很大变动。在一定程度上反映了认识主体的主观意志，具有效用和意义的含义。香农最大熵可看成是加权熵在权重系数都为1时的特例。讲解15分钟作业及课外训练：2.11参考资料（含参考书、文献等）：课后自我总结分析：推导平均互信息的凸函数性时尽量让更多的学生能够理解。周次第3周，第6次课编写时间2009.9.18章节名称2.2.1-3离散平稳信源教学目的与要求：掌握序列信源的熵，离散平稳信源条件熵和极限熵教学重点和难点：教学重点：序列信源的熵，离散平稳信源条件熵和极限熵教学难点：离散平稳信源条件熵和极限熵的性质教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1序列信源的熵，输出的消息序列中各符号之间无相互依赖关系的信源。亦称为单符号离散平稳无记忆信源的扩展信源。由N个二进制数字为一组构成的新信源共有2N个符号，每个符号长度为N，称为二进制信源的N次扩展信源。根据信息熵的定义，离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即H(XN)=NH(X)，讲解20分钟2离散平稳信源的数学模型，各维联合概率均与时间起点无关的完全平稳信源。讲解25分钟3离散平稳信源的信源熵和极限熵，讲解20分钟4离散平稳信源条件熵和极限熵的性质，条件熵随N的增加是非递增的（即N的单调非增函数）；HN(X)是随N的增加是非递增的（即N的单调非增函数）；讲解25分钟作业及课外训练：2.13，2.15参考资料（含参考书、文献等）：课后自我总结分析：理解离散平稳信源条件熵和极限熵的性质至关重要。周次第4周，第7次课编写时间2009.9.18章节名称2.2.4马尔可夫信源教学目的与要求：掌握马尔可夫信源的特点及其极限熵的求解，了解马尔可夫链的性质。教学重点和难点：教学重点：马尔可夫信源的特点教学难点：马尔可夫信源极限熵的求解教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1有限状态马尔可夫链，讲解20分钟2状态转移图和状态转移矩阵，讲解10分钟3马尔可夫信源的定义，以信源输出符号序列内各符号间条件概率来反映记忆特性的一类信源。m阶马尔可夫与一般记忆长度为m的有记忆信源的区别：马尔可夫信源发出一个个符号，有限长度有记忆信源发出一组组符号；一般有记忆信源用联合概率描述符号间的关联关系，马尔可夫信源用条件概率（状态转移概率）来描述符号间的关联关系；马尔可夫信源记忆长度虽然有限，但依赖关系延伸到无穷远。长为m的有限记忆信源符号间的依赖关系仅限于每组内，组与组之间没有依赖关系，讲解15分钟4马尔可夫链的稳态分布及性质，讲解25分钟5马尔可夫信源的极限熵，讲解20分钟作业及课外训练：2.16参考资料（含参考书、文献等）：课后自我总结分析：这次课的内容要求学生必须掌握。周次第4周，第8次课编写时间2009.9.25章节名称2.2.5冗余度及信息变差教学目的与要求：理解冗余度、信息变差的含义教学重点和难点：教学重点：冗余度的含义教学难点：各种熵的求解教学组织（含课堂教学内容、教学方法、辅助手段、师生互动、时间分配、板书设计等）：1冗余度，由于信源符号间的依赖关系使信源的熵减小，就是信源的相关性。如果信源输出符号间的相关性越长，则信源熵减小，趋于极限熵。若相关程度减小，信源实际熵增大。只有当信源符号彼此间无依赖、等概率分布时，信源的熵最大为H0。一个信源输出的符号前后有相关性时，信源输出的熵将减少，输出的总信息量也下降，这就是一种形式的剩余或多余。输出同样的信息量有剩余的信源输出的符号数要比无剩余的信源多。讲解10分钟2相对率，讲解10分钟3信息变差，信源最大可能熵与实际熵的差值定义为内熵。相对率、剩余度、内熵均可用来表示信源的剩余情况。信源的剩余度表示信源的可压缩程度。从提高信息传输效率的观点出发，总是希望减少或去掉剩余度（信源编码）。从提高抗干扰能力的角度出发，总是希望增加或保留剩余度（信道编码）。讲解10分钟4讲解练习题，讲解60分钟作业及课外训练：2.17参考资料（含参考书、文献等）：课后自我总结分析：周次第6周，第9次课编写时间2009.10.2章节名称2.3连续信源—2.4离散无失真信源编码定理教学目的与要