您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 企业财务 > 第三章总结与习题(田有亮)
第三章信道容量2020/1/241信道容量C:在信道中最大的信息传输速率,单位是比特/信道符号。单位时间的信道容量Ct:若信道平均传输一个符号需要t秒钟,则单位时间的信道容量为Ct实际是信道的最大信息传输速率。第三章总结第三章信道容量2020/1/242求信道容量的方法当信道特性p(yj/xi)固定后,I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi),在接收端就能获得不同的信息量。由平均互信息的性质已知,I(X;Y)是p(xi)的上凸函数,因此总能找到一种概率分布p(xi)(即某一种信源),使信道所能传送的信息率为最大。C和Ct都是求平均互信息I(X;Y)的条件极大值问题,当输入信源概率分布p(xi)调整好以后,C和Ct已与p(xi)无关,而仅仅是信道转移概率的函数,只与信道统计特性有关;信道容量是完全描述信道特性的参量;信道容量是信道能够传送的最大信息量。第三章信道容量2020/1/243香农公式说明当信道容量一定时,增大信道带宽,可以降低对信噪功率比的要求;反之,当信道频带较窄时,可以通过提高信噪功率比来补偿。当信道频带无限时,其信道容量与信号功率成正比。第三章信道容量2020/1/244信道编码定理:若有一离散无记忆平稳信道,其容量为C,输入序列长度为L,只要待传送的信息率RC,总可以找到一种编码,当L足够长时,译码差错概率Peε,ε为任意大于零的正数。反之,当RC时,任何编码的Pe必大于零,当L→∞,Pe→1。信道编码定理说明:同无失真信源编码定理类似,信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值,只要信息传输率不超过这个临界值,信道就可几乎无失真地把信息传送过去,否则就会产生失真。第三章信道容量2020/1/245习题13.1.设信源通过一干扰信道,接收符号为Y=[y1,y2],信道传递概率如下图所示。求①信源X中事件x1和x2分别含有的信息量。②收到消息yj(j=1,2)后,获得的关于xi(i=1,2)的信息量。③信源X和信源Y的信息熵。④信道疑义度H(X/Y)和噪声熵H(Y/X)。⑤接收到消息Y后获得的平均互信息。x15/61/41/63/4y1y2x212()0.60.4XxxPx第三章信道容量2020/1/246习题1解答:121222221121122222(1)()log()log0.60.737()log()log0.41.32(/)5/6,(/)1/6,(/)3/4,(/)1/4(/)(/)(;)loglog()()ijjiijijIxpxbitIxpxitpyxpyxpyxpyxpxypyxIxypxpy可见,概率越小的事件含有的自信息越大。(2)由互信息公式:计53164112126411212221222()()()(/)0.60.40.8()0.60.40.2;()()1255(;)log0.059;(;)log0.26324615(;)log0.093;(;)l16jijiXpypypxpyxpypypyIxybitIxybitIxybitIxy算互信息一般取第二个等式,必须先计算出满足归一性即+可算得:25og0.3224bit互信息可以为正值也可以为负值,负值表明由于噪声的存在,接收到一个消息后,对另一个消息是否出现的不确定性反而增加了。第三章信道容量2020/1/247习题1解答:222211211222111(3)()0.6log0.60.4log0.40.971/()0.8log0.80.2log0.20.722/(/)5/6,(/)1/6,(/)3/4,(/)1/4()(/)(/)()(/)5/8,(ijiijjHXbitsymbolHYbitsymbolpyxpyxpyxpyxpxpyxpxypypxypx(4)由公式:可得:221222221122211/)1/2,(/)3/8,(/)1/2(/)()(/)log(/)0.9635/(/)()(/)log(/)0.7145/ijiijijijijiijypxypxyHXYpxpyxpxybitsymbolHYXpxpyxpyxbitsymbol信道疑义度:噪声熵:(5)接收到Y后获得的平均互信息I(X;Y)I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)0.0075bit/symbol第三章信道容量2020/1/248习题23.2.设二元对称信道的传递概率为①若P(0)=3/4,P(1)=1/4,求H(X),H(X/Y),H(Y/X)和I(X;Y)。②求该信道的信道容量及达到信道容量时的输入概率分布。21331233第三章信道容量2020/1/249习题2第三章信道容量2020/1/2410习题2第三章信道容量2020/1/2411习题33.3设有一批电阻,按阻值分70%是,30%是;按瓦分64%是1/8W,其余是1/4W。现已知阻值的电阻中80%是1/8W。问通过测量阻值可以得到的关于瓦数的平均信息量是多少?解:设随机变量X表示电阻的瓦数,Y表示电阻的阻值,则其概率分布为36.064.0)4/1()8/1()(21xxXPX3.07.0)5()2()(21KykyYPY11()0.8pxy21()0.2pxy()()(),,1,2ijijipxypxpyxij已知,由概率的归一性:由,得.第三章信道容量2020/1/2412习题3第三章信道容量2020/1/2413第三章信道容量2020/1/2414第三章信道容量2020/1/2415第三章信道容量2020/1/2416第三章信道容量2020/1/2417第三章信道容量2020/1/2418第三章信道容量2020/1/2419第三章信道容量2020/1/24203)第三章信道容量2020/1/2421第三章信道容量2020/1/2422第三章信道容量2020/1/2423第三章信道容量2020/1/2424第三章信道容量2020/1/2425第三章信道容量2020/1/2426第三章信道容量2020/1/2427第三章信道容量2020/1/2428第三章信道容量2020/1/2429第三章信道容量2020/1/2430第三章信道容量2020/1/2431第三章信道容量2020/1/2432第三章信道容量2020/1/2433解:第三章信道容量2020/1/2434第三章信道容量2020/1/2435第三章信道容量2020/1/2436第三章信道容量2020/1/2437第三章信道容量2020/1/2438第三章信道容量2020/1/2439第三章信道容量2020/1/2440第三章信道容量2020/1/2441第三章信道容量2020/1/2442第三章信道容量2020/1/2443第三章信道容量2020/1/2444第三章信道容量2020/1/2445第三章信道容量2020/1/2446第三章信道容量2020/1/2447第三章信道容量2020/1/2448第三章信道容量2020/1/2449第三章信道容量2020/1/2450第三章信道容量2020/1/2451第三章信道容量2020/1/2452第三章信道容量2020/1/2453第三章信道容量2020/1/2454第三章信道容量2020/1/2455
本文标题:第三章总结与习题(田有亮)
链接地址:https://www.777doc.com/doc-3277754 .html