您好,欢迎访问三七文档
当前位置:首页 > 商业/管理/HR > 商业计划书 > 信息论的进展及其应用
:。、,,、、。—。,,、、、、、、、、,。。,,、、、,。,〔1,2〕。,,:(1),、。(2),,、、。(3),(1)(2),。,,、。1.、、,。,、、、,、。1939,。。:(),,,,。。,,。1924Ny-qiusct3。1928,Hltey〕()。Armstrony1936。Harit。yShannon〔,19411944,,,;,,。1948。,m。Shannon,Wiener〔“,g“,,。,KoTe,bHflKOB1946`。〕,()。。,。。,,,。Shannon,wiene:KoTeobHHKoB,。,。1951IEE,1955。。,。,KoorpoB〔、Feinsteinc,2〕、wolfowitz〔,s,shannon,。,,、、、、、。。,Shannon,(),()、。,。1961’,,,,,Berlekamp〔,。,Shannon,,,。,,l6C,`〕viterib〔`8。10“,1/2.5~4dB(Shannon1.6dB,PsK()9.sdB)。Foreny,。,,,,,。。Shannon1959〔202,,。。,()()。Shannon,。,,。,。2.、。,,。,。1。。,。,、、;,、。,,,。,、,。,、、。,()、()()。,、、、,、。,。,。,。。。,、。,。。Shannon,()。1。,,(),,。。。、。,()。。,,。,,。。Shannon。,(),.。(),(),。,。,。,,、,1/2。,。A。q*,A,I(A*)=logq*(2.1)。(2.1)q。,I(A.)。A:,A:。U:,UZ。(U:UZ)U;)U:)I(UIU2)=logq(UIUZ)=logq(U:)q(UZ)=logq(U;)logq(UZ)I(Ul)+I(UZ)(2.2),(2.1),。2。,(ibt);、,(nat)。,。U=A:,AZ,…,A。},A。q、,q*“l。H(U)E、*I(A;)=E。、109,。(2.3)U,U。。,。,U{A,,A:}。A:。,,A:,H(U)。,Al;H(U)1/,。,2,3,A`,q,。,q*logq*。。UJ,,H(U),。J、,。,。,。U~{A;,AZ,{B,,:,`,B,}。(A*B,)(A*)(B,}A。)。(B`)(A*IB,)(2.4),A`…A、},VUV』I(,,、)=109(A。}B、)q(A。)logq(A,)logq(A,}B,)I(A。)I(A*iB,)(2.5)I(A。;B,)B,A。I(A,)B,A`I(A`!BJ)。(2.5)I(A*;B,)I(B,;A。)(2.6)。A、B,,。,q(A。;B`)q(A*)。(B,),A、}B,)1,I(A。;B,I(B,;A*)。。UVz(U;F)E:(A、B,)I(A。;B,)E:(A。)(B、}A、)109(2.6)(IU;V)I(V;U)。』(2.7)qdU,V,I(U,V)J。,l。2。B,!A*)。(2.3)(2.5)I(U;V)=H(U)H(U}V)=H(V)H(V{U)(2.8)H(U{V),,。H(U),VU。,H(U}V)H(V!U),,(IU;V)。,H(U}V)H(U)H(V}U)H(V),(IU;V)=。。,H(U}V)H(V}U)=0,I(U;V)H(U),(IU;「)H(V)。,H(U)H(V),(IU,V)min{H(U);H(V)},。Cmax〔H(U)H(U!V)](2.8),q“(q:,qZ,,,q。)。。,3。。}0)“(P1}1)=1〔,(i}o)=(0}z)=〔。,BSCC=1H(〔)1+〔109〔+(1〔)109(1〔)(/)(2.9)。④、:,、,、/11\。,、.,。。。。。q,,U。。。u、`/C〔4。〔1/2,C0。③。。61\.061\Q4!\Q21、,5,,002“d6dsl,。ee(l。,。2)l。g(1。;。2):;;。:。:(1。2);。g(/)`〔:O,Cl〔,(/)(2.10)(2.11)I-,6。,C。〔2”22〕。。,(),R。,C。Shannon,()()、。,?hsannon。RC;RO。,。。()
本文标题:信息论的进展及其应用
链接地址:https://www.777doc.com/doc-5006336 .html