香农的信息论的局限性及其推广研究

香农的信息论的局限性及其推广研究（一）立项依据与研究内容1.项目的立项依据【研究意义】关于香农信息论的局限性一直都有研究，但是信息的可靠性的研究一直在很大程度上受到忽视，比如香农（Shannon，又译申农、仙农）的信息论只是涉及到信息传输过程中的可靠性，香农对信息的定义和度量都从随机不确定性的角度来进行考虑。目前信息的定义超过80种之多，但是信息的定义都缺乏对信息可靠性的考虑，一些信息的定义把信息当作对事物的一种真实的反映，然而信息的不可靠性是广泛存在的，从严格的角度来讲，信息很难是绝对可靠的，包括一些科学规律（一种特别的信息），也只能被证伪，而不能被证明是正确的，用于获取信息的人的感官和各种仪器设备也存在一定的不可靠性。信息的不完备性，也是广泛存在的，往往由于条件的限制而不能得到完全的信息，如何将许多片面的信息进行融合，让信息更加完备，也是一个很重要的问题（特别说明：这里的可靠性是信息本身的可靠性，而不是信息传递、存储等方面的可靠性）。信息的价值之所以存在，还是因为信息具有一定的可靠性，我们处于信息社会，各种各样的信息在急遽增长，如何很好利用信息，识别信息，提高信息的可靠性，将各种不完备，不可靠的信息进行利用、融合和提取，显然是非常重要的。信息的可靠性不能完全靠人工来鉴别，人工作业有其不精确性，主观性，应当尽量采用信息技术来自动解决，减少人为判断。互联网的出现使得信息不断急遽增长，人工处理这些浩如烟海的信息将是很困难，不现实的，需要建立相关的信息理论来通过计算机融合信息。然而香农的信息论并不能解决这些问题，他的信息论仅仅适应于通信等很局限的领域。一些学者提出了广义信息论、全信息理论，统一信息理论扩展了他的理论，但是这些理论都没有考虑信息的可靠性方面。此外，它与其他的一些信息相关的学科在一定程度上是隔离的。在申请人提出了信息的可靠性问题后，一些学者认为可靠性是信息的重要方面，建议笔者建立可靠信息论。由于可靠性可能过于狭隘，而采用相对信息论命名，除了考虑可靠性外，它具有更加深远的意义，有助于解决和解释更多的问题。在密码分析方面，缺乏对信息的不确定性和信息融合的研究，比如当多个伪密钥存在的情况下，如何进行判断分析。密码分析前已知的信息与密码分析得到的信息如何进行融合，密码分析得到的信息是不可靠的时候，或者密码分析得到的信息只能得出某些需要了解的信息的不确定的概率分布且事先也对这些需要了解的信息从其他的角度得出某一概率分布时候，如何来得出更加完备和可靠的信息，都是尚未研究的领域。【国内外研究现状及发展动态分析】香农信息论的局限性很早就被认识到，包括香农本人。香农的信息论诞生不久，许多人将它推广到日常信息交流场合，于是出现纰漏。香农也曾经辑文反对信息论的滥用。和Shannon合著《通信的数学理论》一书的W.Weaver就提出通信的三个水平，而香农理论仅仅是其中一个水平。为了解决语义信息问题，R.Carnap等人提出用逻辑概率代替普通概率，然后用Shannon熵度量语义信息。50年代末，Kullback提出Kullback信息公式。60年代初，Brillouin提出可用Hartley公式的改进形式来度量非概率信息，比如测量数据的信息。1965年，L.A.Zadeh提出模糊集合论，1968年，他又提出模糊事件，即模糊集合A中事件的概率，和模糊集合的熵。1972年,德鲁卡和特尔米尼提出了用来测度模糊事件的信息量的模糊信息熵公式。70年代，H.Gottinger提出非概率信息，S.Guiasu提出了加权熵和效用信息，都产生了一定影响。G.Jumarie还提出采用洛伦兹变换的相对信息，可惜相对信息的定义并不自然，它与本项目的相对信息有很大的差别。此后，R.Yager，M.Higashi和G.Klir，D.Dubois和H.Prade等人又提出或讨论了可能不确定性测度及相应的广义熵，这类方法只采用隶属度等主观测度而不使用事件发生的概率。吴伟陵教授对广义熵和模糊信息做过探讨。我国学者钟义信先生1981年针对香农信息论的熵公式只能度量概率信息的缺陷,提出了一种广义信息函数。1985年,他又把该公式推广到语义信息和语用信息的度量,得到了语法,语义和语用信息的综合测度公式,即所谓全信息的计量模型。1993年，鲁晨光提出广义信息论，指出香农信息论的局限性具体表现在:不便于度量语义信息、感觉信息、信源信道可变时的信息以及单个信号的信息。鲁晨光提出了广义通信模型和可度量语义信息、感觉信息及测量信号信息的广义信息测度；讨论了预测和检测的信息准则和优化理论。GeorgeJ.Klir则在模糊逻辑，不分明集这些不确定性方面作出了许多的研究。斯托尼尔在90年代初提出统一的信息理论,他把信息看成是宇宙的一种基本属性,其目标是在信息物理学的基础上,并综合现有的控制论,符号学,语言学,认知心理学等学科,构建一个所谓一般信息理论的框架。这些新的理论都是在香农的基础上进行扩展，认识到了香农的一些局限性，都很重视对单重不确定性（信息熵）的研究，但是都没有考虑的信息的可靠性这一问题，即信息与客观事实和真理的符合程度，从信息表示的角度，也就是说没有考虑到信息的表示是不确定性的，如信息的表达中概率是变动的，随机的。此外关于信息的定义非常多，但是并不存在公认的定义，绝大多数定义都没有考虑信息的可靠性，信息的定义也是以“信息是消除不确定性的东西”得到广泛的重视。关于不确定性理论，相关的推理模型没有一个统一的模型，种类不计其数，其中比较著名的有：Shortliffe在1975年结合医疗专家系统MYCIN建立的确定性理论，Duda在1976年结合探矿专家系统PROSPECTOR建立的主观Bayes推理，DempsterShafer在1976年提出的证据理论，Zadeh在1978年提出的可能性理论，1983年提出的模糊逻辑和逻辑推理，Nilsson在1986年提出的概率逻辑，Pearl在1986年提出的信任网络。八十年代以后，人们又提出了灰色系统理论、粗集理论、概念图、基于信比概念的知识处理和集对分析等新方法。国内学者李德毅提出了云模型，何华灿提出了泛逻辑学。但是不确定性理论通常是不够严谨的，甚至还存在一些冲突和悖论。这些理论与概率论和信息论都是出现了不应该有的隔离，特别是与信息论与不确定性理论、信息融合相去甚远。可以说信息与知识和智能已经隔离了，国内学者钟义信认识到这一问题，提出信息－知识－智能转换的规律，提出了一些框架。在可靠性理论方面，主要是研究工程、产品和系统的可靠性，其中包括软件产品的可靠性，涉及到信息的主要是针对信息系统的可靠性、可靠性相关的信息的处理软件系统以及可靠性相关的信息的分析和利用设计。除申请人提出了信息的可靠性问题，并且分析了它与不确定性的关系外，目前尚未见到有对信息本身的可靠性相关的其他研究，而信息的可靠性问题比一般的可靠性问题更加复杂。【主要参考文献】[1].ShannonCE.Amathematicaltheoryofcommunication，BellSystemTechnicalJournal,27(1948)，379—429，623—656[2].美〕威弗尔.通讯的数学理论的新发展，系统论控制论信息论经典文献选编，求实出版社，1989,612—636[3].汪培庄.模糊集和随机集落影，北京师范大学出版社，1984.[4].宛天巍，王浣尘，张旭，信息测度方法的综述，系统工程理论方法应用，第14卷第6期，2005年12月[5].Wierman,M.J.,Tastle,W.J.PlacingtheDissonanceMeasureintheContextofGeneralizedInformationTheory,FuzzyInformationProcessingSociety,2006.NAFIPS2006.AnnualmeetingoftheNorthAmerican,3-6June2006Page(s):253-256[6].PeterFleissner,WolfgangHofkirchner，EmergentinformationTowardsaunifiedinformationtheoryIn:BioSystems2-3(38)/1996,243-248[7].KullbackS.InformationandStatistics，JohnWiley&SonsInc.，NewYork，1959[8].AczelJandForteB.Generalizedentropiesandthemaximumentropyprinciple，In:BayesianEntropyandBayesianMethodsinAppliedStastics，CambridgeUniversityPress，Cambridge，1986，95—100[9].BrillouinL.ScienceandInformationTheory，AcademicPress，NewYork，1962[10].ZadehLA.Probabilitymeasuresoffuzzyevents，JournalofmathematicalAnalysesandApplications23(1968)，421—427[11].DeLucaAandTerminiS.Adefinitionofnonprobabilisticentropyinthesettingoffuzzysets，Infor.Contr.20(1972)，201—312[12].GottingerHW.LecturenotesonconceptsandMeasuresofinformation，In'InformationTheory:NewtrendsandOpenProblems',G.Longoeds.，SpringerVerlag，CISM(1975)[13].郝建民，纪念信息论创立五十周年，遥测遥控，1999年5月，第20卷第3期[14].钟义信．面向智能研究的全信息理论[J]．北京邮电大学学报，2000，(1)[15].Klir,G.J.UncertaintyandInformation:FoundationsofGeneralizedInformationTheory.JohnWiley,Hoboken,NJ,2006[16].钟义信.信息科学原理，福建人民出版社，1988[17].鲁晨光．广义信息论，中国科技大学出版社，1993[18].Klir,G.J.Measuringuncertaintyassociatedwithconvexsetsofprobabilitydistributions:anewapproach,FuzzyInformationProcessingSociety,2005.NAFIPS2005.AnnualMeetingoftheNorthAmerican26-28June2005Page(s):61-64[19].王勇，论信息的相对性，武汉：首届全国社会信息科学研讨会论文集，2007年06月[20].GeorgeJ.Klir.Anupdateongeneralizedinformationtheory[A].ISIPTA[C].2003.321～334[21].王勇.香农信息论的局限性分析.中国科技论文在线().2007年07月18日[22].李德毅，不确定性人工智能，国防工业出版社,2005年7月2.项目的研究内容、研究目标,以及拟解决的关键科学问题【项目研究内容】（1）本项目借鉴前人对信息论的局限性的分析，从可靠性的角度来分析香农信息论的局限性，以及其产生的根源，并且将信息论从相对信息的角度来进行推广。提出相对信息论，基于相对信息理论提出（精确的）集合下信息的可靠度和信息的差别指标，提出一些算法，用于解释一些概率冲突，并且用于信息融合。（2）将相对信息理论应用在密码分析中，研究在密码分析中，如何将密码分析的结果与事先已知的信息进