信息论与编码-第1章概论

第1章概论信息论基础通信与信息工程学院陈伟建第1章概论教材与主要参考书信息论与编码（第2版），陈运等，电子工业出版社，2007年信息论基础（第2版），ThomasM.Cover等，机械工业出版社，2007年第1章概论考核方式与成绩评定平时考核，占总成绩30%期末考核，一页开卷笔试，占总成绩70%第1章概论教学内容和要求理解信息的概念了解信息论的形成、发展及研究内容第1章概论1.1信息的概念1、信息的普遍性花朵的色彩、水果的芳香结绳记事、烽火告警南唐诗人李中——梦断美人沉信息，目穿长路依楼台第1章概论2、信息的本原性1948年，维纳——信息就是信息，信息既不是物质，也不是能量辞海——信息、物质和能量被称为系统的三大要素欧廷——没有物资，什么也不存在；没有能量，什么也不发生；没有信息，什么也没意义第1章概论3、信息的定义事物之间的差异物质和能量在时间和空间中分布的不均匀性用以消除随机不确定性的东西……各种定义从不同层次、不同侧面描述了信息的某些特征，但无一能为社会各界所一致接受第1章概论迄今为止，应用最广泛的是通信系统研究背景下，1948年香农给出的信息定义第1章概论香农的通信系统一般模型发送信道接收噪声信源信宿第1章概论信源——提供消息的人、机器或事物信宿——接受消息的人、机器或事物信道——传输信号的通道，信道中通常引入噪声发送——从消息到信号的变换和处理接收——从含噪声信号到消息的反变换和处理第1章概论消息——由图像、声音、文字、数字等符号组成的序列信号——承载消息的载体，如电信号、光信号等第1章概论消息信号信号+噪声消息发送信道接收噪声信源信宿第1章概论如果信宿收到的消息不含能消除不确定性的内容，该消息没有任何意义消息所含能消除不确定性的内容是消息的意义，是通信的本质，香农将其定义为信息第1章概论定义信息是消息所含能消除不确定性的内容辞海——信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义通信系统中信道传输信号，信号承载消息，消息所含能消除不确定性的内容是信息第1章概论4、信息的性质普遍性本原性有序性可度量性可传输与可存储性可共享性时效性第1章概论按信息的应用5、信息的分类应用行业领域…工业信息农业信息…科技信息市场信息…第1章概论消息形式离散连续无记忆离散信息有记忆离散信息无记忆连续信息有记忆连续信息波形波形信息按消息的形式第1章概论1.2信息论的形成、发展及研究内容1、信息论的形成在长期的通信工程实践中经过抽象、概括、提高而逐步形成1832年，莫尔斯电报系统的编码方法1928年，哈特莱第一次从通信的观点出发对信息量作了定义1945年，莱斯关于噪声的研究，通信理论全面走上统计分析道路第1章概论香农奠定信息论架构的论文——1948年，通信的数学理论（AMathematicsTheoryofCommunication），1949年，噪声中的通信（CommunicationinthePresenceofNoise）消息含有一个可以量化的信息，提出信源发出信息和信道传输信息的度量——熵和平均互信息信源发出的消息从信息角度存在冗余，为有效通信，进行压缩冗余的信源编码，熵是无失真信源编码的临界值——下界第1章概论噪声使信道传输信息的能力受到限制，提出信道传输信息的能力——平均互信息的极值——信道容量为可靠通信，通过增添冗余实现纠错的信道编码，信道容量是错误足够小的信道编码的临界值——上界可以认为香农的两篇论文是信息论的“圣经”第1章概论2、信息论的发展数学界——柯而莫哥洛夫、范恩斯坦、沃尔夫维兹等给出更一般的模型和严格证明，使信息论具有坚实的数学基础通信工程界——主要集中在信源编码、信道编码的具体构造方法，率失真理论和网络信息理论方面第1章概论20世纪40年代末，汉明提出分组编码技术，将代数方法引入纠错码研究，形成代数编码理论1952年，霍夫曼提出霍夫曼编码方法，并证明其为最佳码第1章概论香农奠定率失真理论的论文——1959年，保真度准则下的离散信源编码定理（CodingTheoremsforaDiscreteSourceattheFidelityCriterion）提出限失真条件下信息的度量——率失真函数——比熵具有更广泛意义率失真函数是限失真条件下信源编码的临界值——下界第1章概论1960年前后，提出卷积码和维特比译码1961年，香农发表的论文“双路通信信道”（Two-WagCommunicationChannels），标志着多用户信息论的研究逐步展开1973年，斯莱平和沃尔夫给出相关信源多址接入信道的信道容量1993年提出的Turbo码在性能上已非常接近理论极限第1章概论3、信息论的研究内容研究由通信系统引出的基础理论问题——信息传输过程的共同规律，在通信的有效性和可靠性中做出权衡，通信系统最优化有效性——传输的每一条消息携带尽可能多的信息量或单位时间内传输尽可能多的信息量可靠性——信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现关于信息论的研究内容，一般有三种理解第1章概论三个度量——熵、平均互信息与信道容量、率失真函数三个定理——无失真信源编码定理、信道编码定理、保真度准则下的信源编码定理两类编码——信源编码、信道编码①香农信息论香农信息论也称为狭义信息论，研究从通信系统引出的基础理论问题第1章概论②一般信息论一般信息论研究从广义通信引出的基础理论问题几乎在香农创立信息论的同时，维纳将人或机器与外部环境所进行的交换看成广义通信，将信息理解为广义通信的对象维纳将研究重点放在广义通信的接收端，提出了从噪声中提取信息的微弱信号检测理论，也称为最佳接收理论，形成信息论的一个重要分支第1章概论一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论——噪声理论信号滤波与预测统计检测与估计理论调制理论第1章概论③广义信息论信息的再讨论——对信息可以从本体论和认识论两个层次上去理解本体论层次上的信息是一种客观存在，与我们主观是否感知到它没有关系认识论层次上的信息概念引入了一个约束条件——认识主体，它只把那些认识主体所能感知到的东西才视为信息第1章概论人这样的认识主体具有感觉能力、理解能力和目的性，能够感知信息的外在形式、内在含义并判断其效用价值，在认识论层次研究信息时，一般要同时考虑到形式、含义和效用三个因素只考虑形式因素的部分——语法信息只考虑含义因素的部分——语义信息只考虑效用因素的部分——语用信息语义信息和语用信息涉及认识主体的主观因素第1章概论无论是香农信息论还是一般信息论，都只讨论不涉及主观因素的语法信息研究信息的内在含义和效用价值，必然会渗透到心理学、生物学、神经生理学、语言学、经济学、社会学等有关领域目前比较公认的说法，广义信息论是从客观和主观两个方面全面研究信息的度量、获取、传递、存储、处理和施用的技术科学一般也将广义信息论称为信息科学