信息论与编码教案

教案2009～2010学年第一学期学院(系、部)信电学院系(教研室或实验室)通信与信息技术系课程名称信息论与编码授课班级060421-2主讲教师毛淑华职称助教使用教材《信息论与编码》东华理工大学教务处制课程概况课程名称信息论与编码课程编号01471611总计：46学时讲课：36学时实验：10学时上机：学时学分3类别必修课（√）选修课（）理论课（）实验课（）任课教师毛淑华职称助教授课对象专业班级：060421-2共2个班基本教材和主要参考资料1、基本教材：曹雪虹．信息论与编码（第二版）．北京：清华大学出版社，2009．该教材被认定为“十五”国家级规划教材。高等学校信息与通信工程系列教材。2、主要参考资料：[1]信息论与编码.中国科技大学出版社.姜丹编,2002[2]编码理论.西安电子科技大学出版社.田丽华著,2003[3]信息处理与编码.人民邮电大学出版社.吴伟陵著,2001教学目的要求通过信息论与编码课程的学习，应使学生系统掌握信息论中的一些基本术语，着重掌握几种重要的编译码原理与实现方法，理解信源编码、信道编码与密码在通信系统中的目的和作用，学会在不同要求条件下，能合理选择编码类型和设计编译码器，并为学习其他通信理论课程打下基础。教学重点难点1、教学重点：信道编码中分组码、循环码、卷积码的基本原理、编码方法及译码方法。2、教学难点：各种信源熵和互信息的计算、信源编码基本原理、信息率失真函数的定义、卷积码的基本概念和描述方法、卷积码的最大似然译码、ＤＥＳ密码算法、ＲＳＡ密码体制。信息论与编码课程教案授课时间第1周周2第1~2节课次1授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：1绪论1.1信息论的形成与发展1.2通信系统的模型上一课次教学内容提要先修课程：概率论与数理统计本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生了解课程开设的目的，熟悉研究的内容，，激发学生对学习要求感性认识。教学重点及难点：重点：信息的基本概念、一般通信系统模型。难点：消息、信号、信息的区别和联系教学基本内容与教学设计（含时间分配）方法及手段（一）开场白：作为第一堂课，首先进行简单大方的自我介绍，教材与参考资料的选用，对学生的要求及考试的形式。（5′）（二）课程导入：以举例、提问的方式讨论什么是信息？激发学生的学习热情和学习兴趣。再引入本课程的学习目标、学习要求和学习方法。(5′)（三）讲授内容：本课次授课章节——1.1信息论的形成与发展（15′）1.1.1信息的概念（25′）信息、消息与信号三者之间的联系与区别1.1.2信息论研究的主要内容（15′）信息论的基础理论，又称香农信息理论1.2一般通信系统模型（30′）解释各种通信系统中的一些共性问题，对这些共性问题进行总结分析教学手段为课堂讲授，为激发学生的主动学习热情和兴趣，在教学中通过例举具体的应用实例和适当的加入课堂提问与多媒体教学手段演示学习内容，加深学生理解。作业和思考题：通信系统包括的各主要功能模块及其作用。课后小结：作为首堂课，激发学生的学习兴趣和学习热情很重要，后将进一步采用启发式、讨论式等多种行之有效的教学方法，引导学生独立思考，培养学生基本的专业素养。信息论与编码课程教案授课时间第1周周四第3~4节课次2授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：2.1信源的描述与分类上一课次教学内容提要信息的概念，通信系统一般模型。本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生认识信源的分类及其描述方法，熟悉离散信源的概率空间描述，掌握齐次、遍历马尔可夫信源的概念，会用状态转移概率求稳态分布概率。教学重点及难点：重点：信源的描述与分类难点：齐次、遍历马尔可夫信源教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：一般通信系统模型（5′）（二）课程导入：上节中了解到通信系统中产生消息的源称为信源，那么信源输出的各类消息如何用数学知识进行描述。(10′)（三）讲授内容：本课次授课章节——2.1.信源的描述与分类2.1.1无记忆信源：定义，描述方法。（25′）2.1.2有记忆信源：定义，描述方法。（15′）2.1.3马尔可夫信源（35′）状态转移矩阵、符号转移矩阵，状态流图，稳态分布概率（重点分析状态流图，能够计算马尔可夫信源的稳态分布概率）通过举例提问的方式引导学生重点掌握信源的描述方法及其相关计算。作业和思考题：课本P41：2-1、2-2马尔可夫信源的相关计算。课后小结：今后授课中多以提问或举例子的方式让学生加深对知识的理解与掌握。信息论与编码课程教案授课时间第2周周二第1~2节课次3授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：2.2离散信源熵和互信息2.2.1自信息量2.2.2信源熵上一课次教学内容提要信源的数学模型（矢量与概率空间），马尔可夫信源（状态转移概率矩阵、符号条件概率转移矩阵、稳态分布概率的计算）。本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生掌握信息的度量问题，熟悉信源不确定度和平均不确定度与自信息量和信息熵的关系。教学重点及难点：重点：自信息量和信源熵的计算难点：离散信源熵教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：信源的数学描述问题（5′）（二）课程导入：上次课中讨论了信源的数学描述问题，那么信源发出一个符号，收信者能够获得多少信息量？(10′)（三）讲授内容：本课次授课章节——§2.2.1自信息量（35′）随机事件的不确定度在数量上等于它的自信息量。两者单位相同，但是含义不同。内容包含单个符号自信息量、联合自信息量、条件自信息量。2.2.2信源熵（45′）通过例子引出信源熵的概念信源熵表征信源输出前，信源的平均不确定度。内容包含离散信源熵、条件熵和联合熵通过多媒体手段丰富平淡知识的讲解。同时结合举例和提问的方式让大家重点掌握自信息量和信源熵的计算。作业和思考题：自信息量和信源熵的计算2-12.课后小结：概念较多，讲解注重各个概念的联系与区别，以便学生对知识的理解与掌握。信息论与编码课程教案授课时间第2周周四第3~4节课次4授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：2、2、3互信息2、2、4数据处理中信息的变化2、2、5熵的性质上一课次教学内容提要自信息量和信源熵的概念本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生了解数据处理中信息的不增性原理，熟悉互信息、噪声熵和疑义度的概念，重点掌握体现互信息与熵的关系的维拉图和熵的性质。教学重点及难点：重点：互信息、噪声熵、疑义度、维拉图和熵的性质难点：互信息、数据处理中信息的变化教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：自信息和信源熵的概念。（5′）（二）课程导入：以提问的方式启发学生探讨经过一次通信，收发能够获得的信息量是多少？(5′)（三）讲授内容：本课次授课章节——2、2、3互信息（35′）互信息的定义和物理意义，从而引入的疑义度和噪声熵的概念。2、2、4数据处理中信息的变化（15′）当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。2、2、5熵的性质（30′）非负性、对称性、确定性、香浓辅助定理、最大熵定理及维拉图提问、举例、多媒体演示等多种手段相结合，充分调到学生的积极性和思维能动性。尤其对于教学重点、难点部分，通过实例讲解、加深学生理解和掌握。作业和思考题：互信息量和各种熵的计算。课后小结：通过例子的讲解，加强对知识点的融会贯通和理解巩固。信息论与编码课程教案授课时间第3周周二第1~2节课次5授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：2、3离散序列信源熵2、4连续信源熵和互信息2.5冗余度上一课次教学内容提要互信息、疑义度和噪声熵的概念、维拉图本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生掌握离散序列信源熵的计算；熟悉连续信源熵和互信息和冗余度的概念；重点掌握马尔可夫信源的信源熵的计算。教学重点及难点：重点：马尔可夫信源的信源熵难点：离散有记忆信源的序列熵、连续信源熵教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：维拉图（5′）（二）课程导入：我们已经掌握单符号离散信源熵，那么离散符号序列信源熵和连续信源熵如何度量呢？(5′)（三）讲授内容：本课次授课章节——2.3.1离散无记忆信源的序列熵（15′）平均每个符号熵等于单个符号信源的符号熵。2、3、2离散有记忆信源的序列熵（25′）引入条件熵的概念，重点讲解离散平稳序列信源熵的性质，在实际应用中常取条件熵作为极限熵的近视值。2.4连续信源熵和互信息（30′）连续信源熵和互信息的概念，明确相对熵的含义。注意离散信源熵与连续信源熵之间的区别与连续。重点讲解最大熵定理。2.5冗余度（15′）冗余度产生的原因和定义，及信息效率的概念。通过多媒体手段演示和结合举例讨论的方式让大家重点掌握马尔可夫信源熵的计算，熟悉冗余度的概念。作业和思考题：2-32、2-33课后小结：基本达到本课次教学目的和要求，在以后授课中尽量多留点学生讨论时间，调动学生积极性。信息论与编码课程教案授课时间第3周周四第3~4节课次6授课方式（请打√）理论课□讨论课□√实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：3.1信道与信道容量上一课次教学内容提要离散序列信源熵、连续信源熵及最大熵定理本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次授课，要求学生了解信道的分类，熟悉信道的表示参数，掌握各种离散单个符号信道的信道容量的计算。教学重点及难点：重点：离散单个符号信道及其容量难点：信道容量的计算教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：连续信源和离散序列信源熵。（5′）（二）课程导入：信道是构成通信系统的重要组成部分，人们最关心在什么条件下，通过信道的信息量最大。(10′)讲授内容：3、1信道的分类和表示参数（30′）信道模型:引入信道转移概率矩阵1、二进制对称信道2、一般离散无记忆信道3、离散输入连续输出信道4、波形信道3.2离散单个符号信道及其容量1、无干扰离散信道（25′）分三种：无噪无损信道、有噪无损信道、无噪有损信道2、对称DMC信道（20′）注重信道的定义，转移概率矩阵的特征，及信道容量的求解。采用课堂讲授与课堂讨论相结合的教学方法。运用多媒体教学手段演示学习内容及参考，加强学生对知识的理解与掌握。作业和思考题：信道容量的计算。课后小结：基本达到本课次教学目的和要求，在以后授课中尽量多留点时间让学生思考，提高教学效果。信息论与编码课程教案授课时间第4周周2第1~2节课次7授课方式（请打√）理论课□√讨论课□实验课□习题课□其他□课时安排2授课题目（教学章、节或主题）：3.2.3准对称DMC信道3.2.4一般DMC信道3.3离散序列信道及其容量3.4连续信道及其容量3.5信源与信道的匹配上一课次教学内容提要无干扰离散信道和对称DMC信道的特征与容量的计算本课次教学目的、要求（分掌握、熟悉、了解三个层次）：通过本次课的学习，使学生了解信源与信道匹配的思想；熟悉准对称离散无记忆信道及连续加性信道的信道容量的计算；重点掌握限时限频限功率的加性高斯白噪声信道的信道容量的计算。教学重点及难点：重点：限时限频限功率的加性高斯白噪声信道的信道容量难点：限时限频限功率的加性高斯白噪声信道的信道容量教学基本内容与教学设计（含时间分配）方法及手段（一）知识回顾：无干扰离散信道和对称DMC信道的特征与容量的计算（5′）（二）课程导入：离散信道的特殊情况下容量的度量很容易求解,那么对于一般离散无记忆和连续信道,容量又如何度量?(5′)（三）讲授内容：本课次授