信息论与编码第一章绪论PPT

课程介绍课程类别：学科方向课开课对象/学期电子信息工程专业本科生/第5学期学分/学时：3/54考核：平时成绩30％（作业、考勤）期末考试70％（闭卷）课程介绍教材：曹雪虹、张宗橙编著，《信息论与编码》（第二版），清华大学出版社参考书：1.陈运、周亮等，《信息论与编码》，电子工业出版社2.傅祖芸，《信息论—基础理论与应用》，电子工业出版社3.方军、俞槐栓，《信息论与编码》，电子工业出版社4.吴伯修、祝宗泰、钱霖君，《信息论与编码》，东南大学出版社5.姜丹，《信息论与编码》，中国科学技术大学出版社课程性质随着科学技术的不断发展，信息的概念逐渐深化，其应用领域也不断扩展，并与现代通信、计算机科学、现代管理、系统工程等学科紧密结合，广泛地应用于我们的日常生活中。本课程旨在通过对通信系统中信息理论的介绍，使大家更深入地了解信息的概念和本质，并掌握一些基本的信息理论知识和常用的编解码的方法。目录第1章绪论第2章信源及信息熵第3章信道与信道容量第4章信息率失真函数第5章信源编码第6章信道编码第7章*加密编码课程基本内容一.信息论信息论的发展以及通信系统的模型离散信源熵，互信息以及冗余度二.信源编码定长编码，变长编码以及最佳编码离散信源的信息率失真函数R(D)限失真信源编码定理以及常用信源编码方法三.信道编码信道模型和容量线性分组码卷积码课程内容本课程包括信息论基础和编码两大部分。首先立足于概率论和随机过程的知识，通过各种随机变量的概率空间，给出了信息的统计模型，介绍了信息的统计度量。以香农信息论为基础，香农三大定理及香农公式为重点，从“单符号离散系统—多符号离散系统”介绍了离散信源和信道的信息理论，然后，推广到连续系统。重点讲授信息的概念，信息的度量和计算等一些基本问题。还学习几种常用的信源编码方法和纠错编码方法。课程位置基础课程概率论数理统计后续课程：通信原理数字通信数字图像处理课程目标掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法，掌握信源编码的原理和方法，要求能够基本上实现应用。掌握信道编码的基本方法，并能够从信息论的角度加以理解。学习方法本课程只有理论介绍，显得枯燥、繁杂，不易理解，且“概率与数理统计”知识要求较高，学起来有一定难度。但只要理顺课程思路，尽快进入角色，并加以举一反三的理解，相信大家能学好该课程，切忌望而生畏。为便于理解与掌握，适当的练习必不可少，对布置的作业最好按时独立地完成。第一章绪论本章节教学内容、基本要求、重点与难点1.教学内容：信息的一般概念。信息的分类。信息论的起源、发展及研究内容。通信系统的模型2.教学基本要求：了解信息的概念、度量。了解学习信息论的重要性、意义。掌握通信系统中信息传输的模型。3.重点与难点：信息度量的概念。通信系统中的信息传输模型。1.1信息论发展简史我国古代“烽火告警”是一种最早的快速、远距离传递信息的方式；造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化；电报、电话、电视的发明，再次引导了信息加工和传输的革命；贝尔麦克斯韦20世纪后半叶，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。信息是否重要？一位美国科学家在诗中这样描述：没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。可见信息的重要性。信息论研究的对象和目的研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。1.1信息的概念信息是信息论中最基本、最重要的概念，既抽象又复杂信息在日常生活中被认为是“消息”、“知识”、“情报”等“信息”不同于消息（在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义），消息是表现形式，信息是实质；“信息”不同于情报，情报的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息；信息不同于信号，信号是承载消息的物理量；信息不同于知识，知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息。Shannon信息论的基本任务1948年shannon发表了“通信的数学理论”奠定了信息论理论基础基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输一定信息量的消息安全性信息论的研究内容狭义信息论（shannon经典信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学信息论发展简史电磁理论和电子学理论对通信理论技术发展起重要的促进作用1820－1830年，法拉第发现电磁感应莫尔斯1832－1835建立电报系统。1876年Bell发明电话1864麦克斯韦预言电磁波存在，1888年赫兹验证该理论1895年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代信息论发展简史1832年莫尔斯电码对shannon编码理论的启发1885年凯尔文研究了一条电缆的极限传信速率1922年卡逊对调幅信号的频谱结构进行研究1924年奈奎斯特证明了信号传输速率和带宽成正比1928年Hartley提出信息量定义为可能消息量的对数1939年Dudley发明声码器1940维纳将随机过程和数理统计引入通信与控制系统信息论发展简史1948年shannon信息论奠基1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明1957，Wolfowitz，1961Fano，1968Gallager给出信道编码定理的简介证明并描述了码率，码长和错误概率的关系，1974年Bahl发明了分组码的迭代算法（BCRJ）1956McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976Rissanen算术编码，1977，78Ziv和Lempel的LZ算法信息论发展简史1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术(TCM)，1993年Turbo编译码技术1959年，Shannon提出率失真函数和率失真信源编码定理1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，目前是非常活跃的研究领域。狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码AWGN:AdditiveWhiteGaussianNoiseLDPC:Low-densityParity-checkCodesRecentprogressinFECsforopticalcommunicationsystems.香农对信息的定义信息：是对事物运动状态和变化方式的表征，它存在于任何事物之中，可以被认识主体（人或机器）获取和利用。全信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。语法信息：事物运动状态和状态改变的方式；语义信息：事物运动状态和方式的具体含义；语用信息：事物运动状态和方式及其含义对观察者的效用。香农信息论：考虑事物运动状态及其变化方式的外在形式，实际上研究的是语法信息。维纳对信息的定义香农：创立了信息论，但并没有给出信息的确切定义，他认为“信息就是一种消息”。维纳：信息论的创始人之一，把人与外部环境交换信息的过程看作是一种广义的通信过程。后来才认识到“信息既不是物质又不是能量，信息就是信息”。即信息是独立于物质和能量之外存在于客观世界的第三要素。香农和维纳理论的区别香农理论：香农研究的对象是从信源到信宿之间的全过程，是收、发端联合最优化问题，其重点是放在编码。他指出，只要在传输前后对消息进行适当的编码和译码，就能保证在干扰的存在下，最佳地传送和准确或近似地再现消息。为此发展了信息测度理论、信道容量理论和编码理论。维纳理论：维纳研究的重点是在接收端。研究一个信号如果在传输过程中被某些因素（如噪声、非线性失真等）所干扰时，在接收端怎样把它恢复、再现，从干扰中提取出来。在此基础上，创立了最佳线性过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论。信息论研究的对象和目的研究对象：信息论是一门应用概率论、随机过程、数理统计和代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。香农信息论的深化研究方向香农信息论：网络信息理论和多重相关信源编码理论的发展和应用；通信网的一般信息理论研究；信息率失真理论的发展及在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用；纠错码理论：在工程方面应用最优编码方法研究。维纳信息论：量子检测和估计理论非参数检测和估计理论，非线性检测与估计理论的研究。信源，信道和安全编码之间的结合联合信源信道编码联合安全信道编码举例：我们可以这样来理解：数据——数据链路层的概念——讲究在介质上传输的信息的准确性。信息——应用层的概念——你要表达的意思。信号——物理层的概念——电平的高低，线路的通断等。［举例子］：你在打电话，电话线要有【信号】，交换机交换语音【数据】，而你和接电话的人交换的是【信息】。▲金像奖获奖感言、前天的“新闻”HerecomesyourfooterPage33总结a)消息是信息的携带者，信息包含于消息中。b)消息不一定含有信息。c)信号是消息的载体，消息是信号的具体内容。信号消息：用文字等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。它们之间有着密切联系但不等同，信息的含义更深刻、广泛3.信息的三个基本层次•语法（syntactic）信息：事物运动的状态和变化方式的外在形式。与用途、含义无关。•语义（semantic）信息：内在含义。•语用（Pragmatic）信息：价值，实际效用。消息信息采集(语法信息)信息处理(翻译、破译)(语义信息)信息分析(语用信息)情报分析EXAMPLE我闻西方大士，为人了却凡心。秋来明月照蓬门，香满禅房幽径。屈指灵山会后，居然紫竹成林。童男童女拜观音，仆仆何嫌荣顿？从第一个字到最后一个字每句话的第一个字所包含的意义第一字联系在一起——“我为秋香，屈居童仆”1.2通信系统模型信源信源编码器信道编码器调制器信道解调器信宿信源译码器信道译码器干扰源编码信道信源：产生消息和消息序列的来源。消息可以是离散的，也可以是连续的（数据、文字、语言、图像），通常信源的消息序列是随机发生的，因此要用随机变量来描述。信源a)定义：性通信系统提供消息的人、机