错误概率、译码规则和有噪信道编码定理

通信过程的可靠性可以用传输的错误概率来衡量。错误概率（误码率）：接收端收到错误码字的概率。常用平均译码错误概率表示。jjjeyepypP)|()(译码规则：设计一个函数F(yj)，该函数对于每一个输出符号yj确定一个唯一的输入符号xj*与其对应，即：},,,{;,,2,1,)(21rjjjxxxxsjxyFjjjjjjjeyxpypyepypP)]|(1)[()|()(平均错误概率为：最大后验概率译码准则（最佳译码准则）：把每个输出符号译成具有最大后验概率的那个输入符号，使得信道的平均错误概率最小。即选择译码函数,)(jjxyFjijijjxxyxpyxp),|()|(使得最大似然译码准则：已知信道的前向传递概率的情况下，把每个输出符号译成具有最大前向传递概率的那个输入符号。即选择译码函数,)(jjxyFjiijjjxxxypxyp),|()|(使得YxXijiYxXjiYjYXjiYjjexypxpyxpyxpyxpyepypP*,*,,)|()()()()()|()(平均错误概率为：问题：如何降低错误概率？l改变译码规则；l改变输入符号的概率分布，也就是进行信道编码。然而，信道编码降低了传输的错误概率，代价是信息传输率的降低。给定信道容量为C的离散无记忆信道[X,P(y|x),Y]，其中P(y|x)为信道传递概率。当信息传输率RC时，只要码长n足够长，总可以在输入Xn符号集中找到M（=2nR）个码字组成的一组码（2nR,n）和相应的译码规则，使译码的平均错误概率任意小（PE→0）。当信息传输率RC时，无论码长n多长，总也找不到一种编码，使译码错误概率任意小。