信息论与编码第二版陈运主编课件全套

信息论与编码InformationTheoryandcoding电子信息工程系宋丽丽Email:[e-mail]课程类型：技术基础课学时：48学时（1－12周）考核：平时成绩20％（作业、考勤、测验）期末考试80％（闭卷）几点要求：上课尽量不要迟到课堂上请将手机静音电子版作业提交到网络教学平台课程简介学习目的及意义最简单的通信系统信源信道信宿信源熵信源包含多少信息？信道中传输的是什么形式？信道能传送多少信息？信宿接收到的信息是否正确？编码信道容量检纠错学习方法本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。建议：上课时紧跟老师思路积极思考，提高听课效率记住概念，知道物理含义及其关系预习和复习自己独立完成作业概论信息的一般概念信息的分类信息论的起源、发展及研究内容信息论创始人：C.E.Shannon(香农)美国科学家概论信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”信息的存在花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；药有苦味，让人难以吞咽，药味是一种信息；听老师讲课可以得到许多知识，知识也是信息……。信息的存在总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。色彩视觉果香嗅觉苦药味觉知识听觉冷热触觉信息的存在1928年,美国数学家哈特莱(Hartley)在《贝尔系统电话杂志》上发表了一篇题为《信息传输》的论文。他认为“信息是选择的自由度”。？信息究竟是什么呢？事隔20年，另一位美国数学家香农(C.E.Shannon)在《贝尔系统电话杂志》发表了题为《通信的数学理论》的长篇论文。他创立了信息论，但是却没有给出信息的确切定义,他认为“信息就是一种消息”。美国数学家、控制论的主要奠基人维纳(Wiener）在1950年出版的《控制论与社会》中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。它揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。最广义的信息，使用范围也最广。“本体论”定义引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。“认识论”定义即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。全信息同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。语法信息语义信息语用信息全信息信息的重要性质：可压缩性可扩散性可替代性可共享性时效性存在的普遍性有序性相对性可度量性可扩充性可存储、传输与携带性信息·消息·信号区别与联系：消息是指担负着传送信息任务的单个符号或符号序列。包括文本、数据、语言、图形和图像等。是具体的。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。是物理的。信息是消息中的未知成分（不确定性），或者说是消息中的有用成分。是抽象的。通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。信息的直观认识1信道上传送的是随机变量的值。这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。消息随机变量有一个概率分布。消息随机变量的一个可能取值就称为一个事件。信息的直观认识2事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊）例事件“中国足球队5：0力克韩国足球队”此事件含有的信息量大。（小概率事件发生了，事件信息量大）例事件“中国足球队0：1负于韩国足球队”此事件有的信息量小。（大概率事件发生了，事件信息量小）信息的直观认识3消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。例消息随机变量X=“中国足球队与巴西足球队比赛的结果”则消息随机变量X含有的信息量小。例消息随机变量Y=“意大利足球队与德国足球队比赛的结果”则消息随机变量Y含有的信息量大。信息的直观认识4两个消息随机变量的相互依赖性越大，它们的互信息量就越大。例X=呼和浩特明日平均气温,Y=包头明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则X与Y互信息量大，X与Z互信息量小得多，X与W互信息量几乎为0。按照信息的性质1语法语义语用2客观主观按照信息的地位信息的分类按照信息的作用有用无用干扰3工业农业军事政治科技文化经济市场管理按照信息的应用部门4信息的分类语声图象文字数据计算按照信息的来源5连续离散半连续按照携带信息的信号的性质6信息的分类香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生。文字的产生。印刷术的发明。电报、电话的发明。计算机技术与通信技术相结合，促进了网络通信的发展。12345信息论的起源、发展及研究内容1948年以“通信的数学理论”（Amathematicaltheoryofcommunication）为题公开发表，标志着信息论的正式诞生。起源50年代，信息论在学术界引起了巨大反响。60年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。后来，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语言学、美学等领域。70年代以后，多用户信息论成为中心研究课题之一。发展信源信道信宿噪声源信源编码加密信道编码调制器解调器信道译码解密信源译码通信系统模型一般信息论香农信息论噪声理论调制理论信号滤波预测理论统计检测估计理论1信息论研究对象香农信息论信源熵信源编码信道编码密码香农信息论2所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，都属于广义信息论的范畴。广义信息论3总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。小结信息的理解，信息、信号、消息的联系，信息的性质；信息论的研究内容及意义，通信系统模型；预习第2章中2.1.1,2.1.2信息论与编码InformationTheoryandcoding电子信息工程系宋丽丽Email:[e-mail]上次课的回顾什么是信息？信号，消息，信息的区别？通信系统模型Shannon信息论重点研究内容？通信系统模型信源编码器信道译码器噪声源信宿干扰消息信号信号＋干扰消息对信息论的学习从信源开始由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源。随机变量X、Y分别取值于集合。、},,,,,{},,,,,{2121mjnibbbbaaaa，},,2,1,,,2,1|{mjnibaji联合随机变量取值于集合XY),()(jijibYaXPbap记概率论知识复习满足下面一些性质和关系：1)()()()()(0jijiijjibapbapabpbpap、、、、mjnijinijibapbap1111)(,1)()()(),()(11imjjijnijiapbapbpbap,1)(,1)(1)(111mjijmjjniiabpbpap，123无条件概率、条件概率、联合概率)()()()()()()(ijijijjijiapbapbpabpbpapbap＝，＝XY当与相互独立时)()()()()(ijijijjiabpapbapbpbapmjjijiijnijijijibapbapabpbapbapbap11)()()()()()(，＝456问题的引出信息论的发展是以信息可以度量为基础的，度量信息的量称为信息量。对于随机出现的事件，它的出现会给人们带来多大的信息量？举例：甲告诉乙“你考上研究生”，那么乙是否得到信息？丙再次告诉乙同样的话，那么乙是否得到信息？§2.1单符号离散信源第2章：信源和信源熵信源离散信源连续信源单符号多符号随机变量随机矢量随机过程信源分类单符号离散信源信源发出的消息是离散的，有限的或可数的，且一个符号代表一条完整的消息。例如：投骰子每次只能是{1，2，…6}中的某一个。其中的数叫做事件/元素，以一定的概率出现；信源可看作是具有一定概率分布的某些符号的集合。对于离散随机变量，取值于集合(2.1.1))(,),(,),(),(,,,,,)(2121niniapapapapaaaaXPX单符号离散信源的数学模型为niaaaa,,,,,211)(,1)(01niiiapap满足其中)(iap(2.1.2))()(iiaXPapX对任一记单符号离散信源的数学模型需要注意的是：大写字母X代表随机变量，指的是信源整体。带下标的小写字母:代表随机事件的某一结果或信源的某个元素。两者不可混淆。ia单符号离散信源的数学模型一、信息量自信息量联合自信息量条件自信息量信息量bitenat433.1log12natbit693.01Hartbit301.01bitHart322.310log12单位：比特(2为底)、奈特、笛特（哈特）三个信息单位之间的转换关系如下：()log()2.1.3iiIapa（）自信息量1定义：由式(2.1.3)可知，一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。1(0)(1)2pp当时，221:(0)(1)loglog212IIbit有例题例[2.1.1]这四种气候的自信息量分别为:1234(),(),(),()1111(),,,2488aaaaXPX晴阴雨雪某地二月份天气的概率分布统计如下：。bitaI3)(4，bitaI3)(3，bitaI2)(2，bitaI1)(11是非负值()iIa有确定的值。是一个随机变量，它没也的函数，所以自信息量是而是一个随机量，值得注意的是：iiiaaIa)(0)(1)(iiaIap时，当2)(0)(iiaIap时，当3)()(iiapaI是的单调递减函数。4自信息量的性质必然事件不可能的事件nimjjibap111)(。)(,),(,),(,),(,,,,,,11111111mnnmmnnmbapbapbapbapbabababa)(XYPXY，其中),,2,1;,,2,1(1)(0mjnibapji联合自信息量2针对两个符号离散信源2.1.4)(log)(）（jijibapbaI2.1.5)()(）（jibIaI()()(),ijijpabpapYbX当与相互有独立时，代入式(2.1.3)就有)(log)(log)(jijibpapbaI定义：联合自信息)b6.1.2()(log)(ijijabpabI）（2.1.6a)(log)(jijibapbaI条件自信息量3定义：联合自信息量和条件自信息也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量的变化而变化。ijab、)()(ijiabIaI)()(jijbaIbI)(log)(jijibapbaI))p((logijiabap))p((logjijbabp三者之间的关系二、互信