香农信息论在信息处理中的应用要点

香农信息论在信息处理中的应用第一部分香农信息论的简介第二部分信息论的应用香农信息论的主要内容（1）把信息定义为“用来消除不确定性的东西”，并给出了其度量公式--熵和互信息；（2）建立了一些重要的性能界：信源输出的最大可能的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等；（3）建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。这不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变为科学。香农信息论1948年，“信息论之父”香农发表了一篇著名的论文《通信的数学理论》。论文给出了信息传输问题的一系列重要结果，建立了比较完整而系统的信息理论，这就是香农信息论，也叫狭义信息论(简称“信息论”)。香农信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码信道信源译码器编码器信宿噪声通信系统模型信号信号加噪声消息消息通信系统模型–可靠性使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。–有效性经济性好，即用尽可能短的时间和尽可能少的设备来传送—定数量的信息。–保密性隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。–认证性接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。–有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。–数据压缩：香农第一定理–语音信号压缩（G.711,GSM）•长途电话网标准的语音编码速率已从1972年CCITTG.711标准中的64kbit/s降低到1992年CCITT标准中的16kbit/s。•在移动通信中1988年欧洲GSM标准中的语音编码速率为13.2kbit/s,而1989年美国CTIA标准中的速率为7.95kbit/s。•对语音质量要求较低的军用通信,美国NSA标准的速率在1975年时已达到2.4kbit/s。•目前,在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限。信息论在信息处理中的应用–图象信号的压缩（JPEG,MPEG）–经过多年的研究,到20世纪80年代时图像压缩逐步进入建立标准的阶段。–1989年CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25∶1到48∶1左右。–1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24∶1。–对常规电视信号的压缩在1991年提出的国际标准MPEG-1中其平均压缩比可达50∶1。–计算机文件压缩（compress,gzip）–较好的算法都能使各种文件压缩后所需的存储量只为原文件的25%到50%,其平均值约为30%左右。压缩所需的时间和存储器开销都不大。目前,各种压缩算法已在计算机中得到广泛的应用。信息论的应用–模拟话路中数据传输速率的提高–最早的调解器其速率只有300bit/s,而信息论指出,标称带宽为4kHz,信噪比为25dB的话路信道的极限速率应在25kbit/s左右。所以在以后的三十多年中就开始了提高速率的长期的、现在看来是极其成功的工作。1967年速率为4800bit/s,1971年为9600bit/s,1980年开始进4应用信息论基础入14.4kbit/s,1985年时利用多维网格编码调制的调解器Codex2680使速率达到19.2kbit/s,非常接近于理论极限。信息论的应用–降低信息传输所需的功率•,因为根据信息理论的分析,采用低码率的信道编码可以降低传送单位比特所需的能量Eb与噪声功率谱密度N0之比。•现在利用不太复杂的信道编码就可以使同样误码率下所需的Eb/N0比不采用信道编码时低6dB左右。其中一些好的方案(如用RS码作为外码、卷积码作为内码的方案)可以使误码率在10-5的情况下所需的Eb/N0降到0.2dB,比不用信道编码时所需的10.5dB降低了近10dB。信息论的应用–计算机网中数据传输可靠性的保证–目前普遍采用的解决办法是带自动重发请求的差错检测码。差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用,但较大的网一般都用循环冗余检验。这种方法已被各种网络通信协议采用并成为标准。信息论的应用–计算机中的容错问题•如何保证存取的正确性已成为越来越突出的问题。特别是在外存中,由于存储量大,而且存储体的表面难免有缺损,要保证绝对不发生差错已不可能,现在广泛采取的解决办法是增加适当的检错纠错装置。例如IBM4300,Cray-1等大型机的内存都有较简单的检错纠错措施。而在外存中,根据不同的情况和要求从较简单的Fire码到BCH码以及RS码等都被广泛使用,例如在IBM360的光盘存储器中就采用了•RS码。信息论的应用–图像信号的复原与重建•图像的复原与重建是图像信号处理的一个重要内容,在实用中有很大的价值。20世纪80年代以来,最大熵方法在图像复原与重建中取得了很大的成功。在退化图像复原中,图像退化的原因是多种多样的,如由于景物的运动、光学系统的不理想、噪声等等。图像重构的形式也很多,如计算机层析图像、合成孔径射电望远镜图像、结晶学研究中用的光学干涉仪或无线电干涉仪的图像、核磁共振波谱仪图像等。在这些应用中最大熵方法较其他方法优越的主要原因是其合•理性,即所得结果是我们可以而且能够期望的最好结果。同时也有一些派生的好处,如在盲解卷时同时给出卷积函数,在重建图像中可以同时对仪器中的某些参数进行校正等等。虽然最大熵法在这些应用中目前还不能给出性能的解析表达式,但算法已比较成熟,如常用的剑桥算法等。信息论的应用通信的基本问题•在一点精确地或近似地恢复另一点所选择的消息。•通信系统的三项基本性能指标：–传输的有效性最短的码字，单位的时间传输更多。–传输的可靠性：减少差错，降低错误率–传输的安全性：不被未授权的一方获取数字通信的三项基本技术•数据压缩•数据纠错•数据加密–前两项：1948香农的论文建立理论基础–第三项1945年：密码学的数学理论中给出，1949公开发表为保密系统的通信理论，奠定了现代密码学的理论基础，使密码学从艺术变成了科学。–香农建立了三项技术的理论基础，一般认为第三项属于密码学和信息安全的范畴，而前两项属于信息论的内容。•过去50年中Shannon信息论已取得巨大、丰富的理论和技术成果，当前信息论对无线通信的重要作用为信息论的发展提供了契机，无线频带资源的匮乏更趋严重，高效和高可靠性通信愈加依靠信息论的发展，同时需要更多的信息论人才。•Internet通信、移动通信、光存储、生物等领域将向信息论提出新的挑战。结语•谢谢大家！