第一章-绪论

信息论基础李富年武汉科技大学第一章绪论什么是信息？(信息的一般含义)信息理论研究的基本模型信息论的研究范围及本课程的内容信息论基础李富年武汉科技大学信息的表现形式(1)“信息”是作为通道的消息来理解的。信宿信道信源图通信的简化模型“信息”是人们在通信时所要告诉对方的某种内容。信息论基础李富年武汉科技大学计算机某种过程输入信息输出信息补充信息图计算机的运算或控制机理信息的表现形式(3)信息论基础李富年武汉科技大学非决定论什么是信息？通信对象的一般特性统计特性数学工具概率论与数理统计”一切有通信意义的消息的发生都是随机的“信息论基础李富年武汉科技大学•消息：用文字、符号、数据、语言、图片、图像等能被人感知的形式，把客观物质运动和主观思维活动（信息）表达出来•信息：逻辑的抽象的概念，它是事物运动状态或存在方式不确定性的描述信息和消息的概念信息论基础李富年武汉科技大学信息和消息的概念•信息和消息的关系：信息是抽象的，消息是具体的。信源发出的是消息，消息中蕴涵着信息，是信息的载体。因此在通信过程中，形式上传递的是消息，实际上传递的是信息信息论基础李富年武汉科技大学研究对象--信息传输系统信道信源编码器信道编码器调制器信道解码器信源解码器解调器信号S信号S+N干扰源噪声等效信道编码器解码器信源消息信宿消息信息论基础李富年武汉科技大学需要解决的问题：①什么是信息?②如何度量信息?怎样确定信源的输出中含有多少信息量?③对于一个信道,它传输信息量的最高极限(信道容量)是多少?④为了能够无失真地传输信源信息,对信源编码时所需的最少的码符号数是多少?(香农第一定理).⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零?(香农第二定理).⑥如果对信源编码时允许一定量的失真,所需的最少的码符号数又是多少?(香农第三定理).信息论基础李富年武汉科技大学由于互联网的建立和发展，对安全和保密的要求研究对象--信息传输系统信源信宿信源编码器信道解码器信道编码器信源解码器编码器解码器消息消息等效信道信道干扰源信号S噪声S＋N调制器解调器加密编码器解密解码器信息论基础李富年武汉科技大学信息论研究的目的•有效性：在一定的时间内，传输尽可能多的信息。信源编解码的作用是提高信息传输的有效性；•可靠性：使信息准确、无失真的传输到接收端。信道编解码的作用是提高信息传输的可靠性。•保密性：安全性。香农信息论压缩理论有失真信源编码无失真信源编码率失真理论压缩编码等长编码定理变长编码定理最优码构成Huffman码Fano码传输理论有噪声信道编码理论码构成纠错码代数编码卷积码网络信道网络信息理论网络最佳码保密理论保密系统的信息理论保密码图香农信息论的科学体系信息论基础李富年武汉科技大学定义对于两个事件A、B,若P(A)＞0,则称P(B|A）=P（AB）/P（A）为事件A出现的条件下，事件B出现的条件概率。(1)条件概率相关概率复习信息论基础李富年武汉科技大学对于两个事件A与B，若P(A)0,则有P(AB)=P(A)P(B|A),若P(B)0,则有P(AB)=P(B)P(A|B),若P(AB)＞0,则有P(ABC)=P(A)P(B|A)P(C|AB)乘法公式相关概率复习信息论基础李富年武汉科技大学对于n个事件A1,A2,…,An若P(A1A2…An-1)0，则有P(A1A2…An)=P(A1)P(A2|A1)P(A3|A1A2)…P(An|A1A2…An-1)相关概率复习乘法公式乘法法则一般用于计算n个事件同时发生的概率信息论基础李富年武汉科技大学定义若事件A与B满足P(AB)=P(A)P(B),则称A与B相互独立，简称A与B独立。推论1A.B为两个事件,若P(A)0,则A与B独立等价于P(B|A)=P(B).若P(B)0,则A与B独立等价于P(A|B)=P(A).注意从直观上讲,A与B独立就是其中任何一个事件出现的概率不受另一个事件出现与否的影响.相关概率复习信息论基础李富年武汉科技大学全概率公式设Ω是随机试验E的样本空间,事件组A1,A2,…,An满足：),,2,1(0)(,)2();()1(1niAPAjiAAiiniji则对于任何一个事件B，有P(B)=P(A1)P(B|A1)+…+P(An)P(B|An)相关概率复习信息论基础李富年武汉科技大学1()(|)(|)(1,2,...,)()(|)jjjniiiPAPBAPABjnPAPBA贝叶斯(Bayes)公式:设Ω是随机试验E的样本空间,事件组A1,A2,…,An满足，),,2,1(0)(,)2();()1(1niAPAjiAAiiniji则对于任何一个正概率事件B，有相关概率复习信息论基础李富年武汉科技大学注意1.以上两个公式中的A1,A2,...,An可以看作是导致事件B出现的因素;2.P(Aj|B)一般称为“后验概率”;Bayes公式又称为“后验概率公式”或“逆概公式”;P(Aj)对应可以称为“先验概率”.相关概率复习