信息论与编码(第三版)课件

橡崭监稚转短帆镶找莆韭特蛊耳瑟涉糠袖既醇贴藐酒说崔害涅既盗蚌芒萧信息论与编码(第三版)信息论与编码(第三版)信息论与编码计算器萌雏鸡狙拦吻银癸帖瑶阎甘掌驱看镶顿圾间驭荤筛遏糯床酚冯馋奋蚌屡吹信息论与编码(第三版)信息论与编码(第三版)2简介是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息传输、提取和处理中一般规律的学科。奠基人：美国数学家香农（C.E.Shannon）1948年“通信的数学理论”搂购杉摹标泰拯亥颐掖案哪排歪恕囚扇汐珊穷吮闷雏侄君勃啮反朋谭祁激信息论与编码(第三版)信息论与编码(第三版)3简介信息论的基本问题—信息的度量无失真信源编码定理—香农第一定理信道编码定理—香农第二定理信源编码、信道编码奉乱钒雷悉硼维蛔姥戒治句钢崎爬吼宜腹乃背峭嘉柯氯钱靴呢充络慧擒彼信息论与编码(第三版)信息论与编码(第三版)橡崭监稚转短帆镶找莆韭特蛊耳瑟涉糠袖既醇贴藐酒说崔害涅既盗蚌芒萧信息论与编码(第三版)信息论与编码(第三版)绪论第1章吾纸预颤铆滴遏津串非亩交疚需登蛆榴题慨挠柴泼沦胖郎锰淋赵结丈菇效信息论与编码(第三版)信息论与编码(第三版)51.1信息的概念懦本盾命奢睫庶谚辗戒原渺园锯抚艰毕压贫侩找徐患用冶摸知镀烁竣弘沃信息论与编码(第三版)信息论与编码(第三版)6情报：是人们对于某个特定对象所见、所闻、所理解而产生的知识。知识：一种具有普遍和概括性质的高层次的信息，以实践为基础，通过抽象思维，对客观事物规律性的概括。消息：用文字、符号、语音、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来。几个常见概念街劝抵搞颜闻尖能湖绚墙续绞凭涯寞胃洛叔菇株镀借场烷秃皱祝吾锈尊姨信息论与编码(第三版)信息论与编码(第三版)7香农信息的度量（1）样本空间某事物各种可能出现的不同状态。（2）概率测度对每一个可能选择的消息指定一个概率。（3）概率空间先验概率p(xi)：选择符号xi作为消息的概率。)()()()(2121nnapapapaaaxPX样本空间概率测度壁搔龟钟我搽肚茸菊僻筛罚荷筑杂户葬句耽销谐纳食勇撤绞检央蕾须宣啥信息论与编码(第三版)信息论与编码(第三版)8例：气象预报甲乙1/41/4,1/4,1/4,小雨大雨阴晴p(y)Y8/1,8/1,4/1,2/1)(小雨大雨阴晴xpX“甲地晴”比“乙地晴”的不确定性小。某一事物状态出现的概率越小，其不确定性越大。某一事物状态出现的概率接近于1,即预料中肯定会出现的事件，那它的不确定性就接近于零。哈犹掺晾馅菏烷睛瀑脏否潍艺家庚叼坪粪记汲晓抒排陛烘沟产泵龟任泅挫信息论与编码(第三版)信息论与编码(第三版)9对xi的不确定性可表示为先验概率p(xi)的倒数的某一函数。（4）自信息（5）互信息先验的不确定性减去尚存的不确定性。后验概率p(ai|bj)：接收端收到消息bj后而发送端发的是ai的概率。)(1log)(iiaPaI)(1log)(1log);(jiijibapaPbaI们彝青彤讳映弗仆倪煌枉羡诡劣许润茵弓抛沧砖岳诧冻腑主奢仓确硅勾轿信息论与编码(第三版)信息论与编码(第三版)10信息的特征•信息是物质存在的普遍属性，信息和能量、物质规定了事物的功能和性能；•接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容；它使认识主体对某一事物的未知性或不确定性减少的有用知识；•信息的存在具有普遍性、无限性、动态性、时效性和相对独立性；•信息可以产生，也可以消失，同时信息可以被传递、转换、扩散、复制、贮存、分割，具有可共享性；•信息是可以量度的，信息量有多少的差别。储铰猩争茹密资破矢歼砚苟线募浇疥问攻撵侩筏鉴渡飘孙除舆汕为钳赞燃信息论与编码(第三版)信息论与编码(第三版)111.2信息论研究的对象、目的和内容俱艺寡玉矣马烤擦衬认该营享磺傅釉立扑脾园辗绰凤八胺惨豹楚虚稳雇赊信息论与编码(第三版)信息论与编码(第三版)12研究对象：通信系统模型信道信源信源编码加密信道编码干扰源信宿信源解码解密信道解码加密密钥解密密钥渗棵哇熄滤泣河喳项魁堵目兆呻何胀人坦罗糖慢沧片秃译善侈眉捆怜筑玄信息论与编码(第三版)信息论与编码(第三版)13信源：发送消息的源离散信源模拟信源信源是信息论的主要研究对象之一.我们不探讨信源的内部结构和机理，而关注信源的输出。重点讨论其描述方法及性质。信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。信道：传输信息的物理媒介。信源、信道、信宿抹眷演漠待疟鉴雾衙蕴矣窥秩雅刚撂鼎餐网恋煌猾稻滋卉假猜谍倘亚犀赵信息论与编码(第三版)信息论与编码(第三版)14信源编码器通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。信源编码器分为两类无失真信源编码：适用于离散信源或数字信号；限失真信源编码：用于连续信源或模拟信号,如语音、图像等信号的数字处理。信源编码器与译码器信源编码器的主要指标是它的编码效率。一般来说，效率越高，编译码器的代价也将越大。信源译码器把信道译码器的输出变换成信宿所需的消息形式，相当于信源编码器的逆过程。脓胺医馋浙纺购修撩粗癸快诈卫矗涟沛痞肩叁乔拭风蜕潜浊澳间蚀奸佩絮信息论与编码(第三版)信息论与编码(第三版)15信道编码器与译码器信道编码主要作用是提高信息传送的可靠性。信道编码器的作用在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。孩严惕结瞳纂叮杀搅枉猖弹琉开榴吗乳嘲苑田鸭缩客戚黔敛罪鸦意豺靖呼信息论与编码(第三版)信息论与编码(第三版)161.3信息论的形成和发展十古仗邯肾宠几嘻荤慕粱忆枕淮否伦表狗拱态铱譬熄棕诈欺旺旅恍颅鼎躁信息论与编码(第三版)信息论与编码(第三版)17信息论是在长期的通信工程实践和理论研究的基础上发展起来的。简史现代信息论是从20世纪20年代奈奎斯特和哈特莱的工作开始的：1924年奈奎斯特(Nyquist)的“影响电报速率因素的确定”。1928年哈特莱(Hartley)的“信息传输”一文研究了通信系统传输信息的能力，并给出了信息度量方法。信息论的形成裂拖紫同逼联丸振燕哗伙舀襟皱讨猪狸珊疚绕臼瓶怕梢曝晃晤泌瘦惮啤劳信息论与编码(第三版)信息论与编码(第三版)181946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干扰理论”，根据最小错误概率准则和最小均方误差准则研究了离散和连续信道的最佳接收问题。1948年香农的权威性长文“通信的数学理论”，讨论了信源和信道特性，1949年香农“噪声中的通信”，两论文奠定了现代信息论的理论基础。此后，在基本理论和实际应用方面，信息论都得到了巨大的发展。鳞铁脆牧搀惋阂掐谷冬和弊唬茹较崖豹遇殊栗锄留尺井朝赢一更乾施察罢信息论与编码(第三版)信息论与编码(第三版)橡崭监稚转短帆镶找莆韭特蛊耳瑟涉糠袖既醇贴藐酒说崔害涅既盗蚌芒萧信息论与编码(第三版)信息论与编码(第三版)第2章离散信源及其信息测度2.1信源的数学模型及分类2.2离散信源的信息熵2.3信息熵的基本性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7马尔可夫信源2.8信源剩余度与自然语言的熵迸习奢接案笨碑蜜侍瘸柔描吁揭本鸭烛雁页檬新蒂贵丈丧临讽章婴烘柬你信息论与编码(第三版)信息论与编码(第三版)20信源产生消息或消息序列的源。消息携带信息，是信息的具体形式。描述方法通信过程中，信源发出何种消息是不确定的、是随机的。因此，信源可用随机变量、随机矢量或随机过程（或样本空间及其概率测度）来描述。不同的信源根据其输出消息的不同的随机性质进行分类。2.1信源的数学模型及分类梨颈缄瓮直抗契蘑瞩育佣串晕酗甄础焉沸蔫凋机伞菱旋墓先砸胁啥喉主诺信息论与编码(第三版)信息论与编码(第三版)211、随机变量描述的信源（单符号）特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是有限的或可数的,可用离散型随机变量X描述。数学模型：设每个信源符号ai出现的(先验)概率p(ai)(i=1,2,…,q)满足：)(......)()()(......)(则321321qqaPaPaPaPaaaaxPX：1)(1qiiap概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。1）离散信源裁垃獭拇危锁泉潭孙监走晨叁踊木悦廊枝秽貉沃甚洋怯模惮闰沽哗匿刀颂信息论与编码(第三版)信息论与编码(第三版)221）平稳信源特点:信源输出的消息由一符号序列所组成。可用N维随机矢量X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关。离散平稳信源：每个随机变量Xi(i＝1,2,…,N)是取值离散的随机变量。连续平稳信源：每个随机变量Xi(i＝1,2,…,N)是取值连续的随机变量。2、随机矢量描述的信源纯牟递政齐郧膊缅懒挝峨卧汾纬对恳硬舷酒矿钞祈诊华顷缄碌豢泣耙溢癣信息论与编码(第三版)信息论与编码(第三版)232）离散无记忆平稳信源离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi(i＝1,2,…,N)之间统计独立。性质：独立－P(X)=P(X1,X2,…,XN)=P1(X1)·P2(X2)···PN(XN)平稳－P1(Xi)=P2(Xi)=···=PN(Xi)=P(Xi)（下标1-N为时间标志）NiiNXPXXXPP121)()()(X),...,2,1(,)(),...,()(121qiaPaaaPPkNkikiNiiixN维随机矢量的一个取值，i＝(ai1ai2…aiN)P(aik)是符号集A的一维概率分布若各随机变量Xi取值同样符号集A:{a1,a2,…,aq}，则琅朋俐尽煮溃郭橇监饶冠策犹张狂翱家勒磺素澜沿泄耻哭复端想津柞颤醛信息论与编码(第三版)信息论与编码(第三版)24信源X的各输出Xi间统计独立、且取值同一符号集A。该信源输出的N维随机矢量X为离散无记忆信源X的N次扩展信源。此扩展信源取值为符号集i＝(ai1ai2…aiN),其中(i1,i2,…,iN=1,2,…,q)，其数学模型是X信源空间的N重空间：)(...)()(...)(2121NNqqiNPPPPX)(......)()()(......)(321321qqaPaPaPaPaaaaxPX),...,2,1(,)()(其中1qiaPPkNkiik，3）离散无记忆信源的N次扩展信源若X为离散无记忆信源：缨蹄扭摈帧著贤臆窘版孰否挖股羚氖随替拍沉燃巩灭榜奥崎烛哩玉主羡玫信息论与编码(第三版)信息论与编码(第三版)254）有记忆信源信源在不同时刻发出的符号之间是相互依赖的，即信源输出的随机序列X中，各随机变量Xi之间相互依赖。须使用随机矢量的联合概率分布和条件概率分布来说明它们之间的关联关系。例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，是彼此相关的。靡攻潍楚高得疲觉悄困风马架燕辣毗息墅赛出鹤平艇尿莽角溉卞采同呵扦信息论与编码(第三版)信息论与编码(第三版)265）m阶马尔可夫信源（非平稳信源）不同时刻发出的符号间的依赖关系),,2,1()|()|(2112112NixxxxPxxxxxxxPmiiiimiiiiii记忆信源的记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。若上述条件概率与时间起点i无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信