第3章信道与信道容量
香农将各种通信系统概括为信源、信道和信宿三部分，信宿和信源在数学模型上没有本质的区别，其类型和信息熵及其性质已在第2章进行了深入的讨论。也就是说，对广义的通信系统而言，给定信源，则该信源发出一个消息的信息量即信源熵是已知的，那么对某个特定的信道，到底信宿能够接收到多少信息量呢？该信道能够传送或传输的最大信息量是多少呢？第一个问题与信道模型有关，第二个问题与信源概率分布有关。本章首先定量地研究信源发出一个符号时信道传输的互信息以及平均互信息量； 然后讨论离散信道的数学模型及信道容量； 最后给出连续信道和波形信道的信道容量计算方法。
3．1互信息
各种通信系统形式上传递的是消息，但实质上传递的是信息。
接收端收到某一消息后所获得的信息，可以用接收端在通信前后“不确定性”的消除量来度量。简而言之，接收端所得到的信息量，在数量上等于通信前后“不确定性”的消除量或减少量。这就是信息理论中度量信息的基本观点。
3．1．1互信息量

在离散情况下，X的样本空间可写成{x1,x2,…,xn}，样本空间中任一元素xi的概率表示为p(xi)，则在离散情况下，概率空间为
X
P=x1x2…xn
p(x1)p(x2)…p(xn)
式中，p(xi)为选择符号xi作为消息的概率，称为先验概率。
具体地说，如信源发送某一符号xi，在接收端，对是否选择这个消息(符号)xi的不确定性大小与xi的自信息量相等，即
I(xi)=log1p(xi)
由于信道中存在噪声和随机干扰，接收端一般收到的是xi的某种变形，假设接收端收到的消息(符号)为yj，这个yj可能与xi相同，也可能有差异。把条件概率p(xi/yj)称为后验概率，它是接收端接收到消息(符号)yj而发送端发送的是xi的概率。那么，接收端接收到消息(符号)yj后，发送端发送的符号是否是xi尚存在的不确定性应是后验概率的函数，即条件信息量
I(xi/yj)=log1p(xi/yj)
于是，接收端收到消息(符号)yj后，已经消除的不确定性为： 先验的不确定性减去尚存在的不确定性。这就是接收端获得的信息量，定义为互信息量，即
I(xi； yj)=I(xi)－I(xi/yj)=log1p(xi)－log1p(xi/yj)=logp(xi/yj)p(xi)(3．1．1)
如果信道没有干扰，信道的统计特性使xi以概率1传送到接收端，这时接收端接到消息后尚存在的不确定性等于零，即
p(xi/yj)=1,I(xi/yj)=0
由此得互信息量
I(xi； yj)=I(xi)(3．1．2)
一般信道都会存在干扰或噪声，那么p(xi/yj)<1，I(xi/yj)>0，这样接收端收到yj后得到的信息量为
I(xi； yj)=I(xi)－I(xi/yj)<I(xi)(3．1．3)
值得注意的是，如果信道质量非常差，可能导致接收端收到符号yj后对发送的符号xi存在的不确定性比通信前符号xi的不确定性还要大，即p(xi/yj)<p(xi)，I(xi/yj)>I(xi)。此时，接收端在该通信过程获得的信息量将小于0，即
I(xi； yj)=I(xi)-I(xi/yj)<0(3．1．4)
可见，互信息量不具备非负性的性质。
式(3．1．1)中，代入p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)，可以得到互信息的另外两种描述公式： 
I(xi； yj)=I(yj)－I(yj/xi)=logp(yj/xi)p(yi)(3．1．5)

I(xi； yj)=I(xi)+I(yj)－I(xiyj)=logp(xiyj)p(xi)p(yi)(3．1．6)


图3．1．1二元对称信道


例3．1．1图3．1．1所示是一个二元对称信道。信源等概率输出符号1和0，计算发生错误的概率p。
解： 由图3．1．1，可以得到
p(y0/x0)=p(y1/x1)=1－p

p(y1/x0)=p(y0/x1)=p

根据
p(yj)=∑1i=0p(xi)p(yj/xi)
可得
p(y0)=p(y1)=0．5
假定接收端收到符号0的情况下，想确定发送端发送的是什么。根据式(3．1．5)，接收端收到符号0，发送端发送的是符号0的互信息为
I(x0； y0)=I(0,0)=logp(y0/x0)p(y0)=log1－p0．5=log2(1－p)(3．1．7)
接收端收到符号0，发送端发送的是符号1的互信息为
I(x1； y0)=I(1,0)=logp(y0/x1)p(y0)=logp0．5=log2p(3．1．8)
I(x0； y0)随信道错误概率p的变化曲线如图3．1．2所示。


图3．1．2互信息I(x0； y0)与信道错误概率p的关系


图3．1．2对应的程序代码如下： 

clear all;

clc;

p=0:0.001:1;

I00=log2(2*(1-p));

figure;

plot(p,I00);

xlabel('p');

ylabel('互信息');

对于例3．1．1所示的二元离散信道，当信道错误概率p>0．5时，I(x0； y0)为负值。也就是说，接收端收到符号0时，认为发送端的符号为0将不能获取任何信息量。
3．1．2平均互信息量与平均条件互信息量
式(3．1．1)已经定义了互信息量I(xi,yj)，即信源发出一个符号xi时，通过信道传输，接收端接收到yj所获得的关于xi的信息量。那么，信源发出符号X，接收端收到符号Y后获得的关于信源X的信息量，称为X和Y的互信息I(X； Y)，这是平均意义上的互信息量，称为平均互信息量，定义为单符号互信息量I(xi,yj)在集合X和Y上的统计平均值，即
I(X； Y)=E［I(xi； yj)］=∑i∑jp(xi,yj)I(xi； yj)

=∑i∑jp(yj)p(xi/yj)I(xi； yj)=∑jp(yj)I(X； yj)(3．1．9)
式中，I(X； yj)为互信息量在X集合上的统计平均值。
I(X； yj)=∑ip(xi/yj)I(xi； yj)(3．1．10)
平均的条件自信息量称为条件熵，定义为在联合符号集XY上的条件自信息量的联合概率加权统计平均值，即
H(X/Y)=∑i∑jp(xiyj)I(xi/yj)(3．1．11)
它表示已知Y后，关于X仍存在的不确定度或平均信息量。结合式(3．1．9)可得
I(X； Y)=∑i∑jp(xiyj)logp(xi/yj)p(xi)

=∑i∑jp(xiyj)logp(xi/yj)－∑i∑jp(xiyj)logp(xi)

=∑i∑jp(xiyj)logp(xi/yj)－∑jp(yj/xi)∑ip(xi)logp(xi)

=H(X)－H(X/Y)(3．1．12)
同理可推导出
I(X； Y)=H(Y)－H(Y/X)(3．1．13)
在通信系统中，若发送端的符号是X，而接收端的符号是Y，则I(X； Y)就是在接收端收到Y后所能获得的关于X的平均信息量，是随机变量Y中包含X的平均信息量的度量。互信息I(X； Y)也可看作是随机变量X和Y之间独立性的度量，表征了Y与X之间的距离； 互信息I(X； Y)中X和Y可以互换位置，且总是非负的。由于I(X； Y)≥0，必有H(X)≥H(X/Y)。当X和Y统计独立时，等号才成立。此时，接收端收到Y后由于信道噪声很大，有H(X)=H(X/Y)，I(X；Y)=0接收端收到Y后不能提供任何关于X的信息，此信道称为全损离散信道。反之，当X和Y一一对应，即对应于无干扰的确定性信道时，I(X； Y)=H(X)，接收端就能全部收到关于X的信息H(X)，此信道称为无扰离散信道。在一般情况下，X与Y既非相互独立，也不是一一对应，那么互信息I(X； Y)的范围是
0≤I(X； Y)≤H(X)(3．1．14)
即从Y获得X的信息为0~H(X)，常小于X的熵。
例3．1．2在一个二进制信道中，信源消息集X∈{0,1}，输入符号的概率为p(X=0)=q，p(X=1)=1－q，信道转移概率为
p(Y=0/X=0)=1－p0

p(Y=1/X=0)=p0

p(Y=1/X=1)=1－p1

p(Y=0/X=1)=p1
在p0=p1=p的条件下，求H(X/Y)和I(X； Y)的值。
解： 信源熵是
H(X)=H(q)=－qlogq－(1－q)log(1－q)
这里，H(q)是二元熵函数，H(X/Y)为式(3.1.11)定义的条件熵。以q为参数，H(X/Y)可表示为
H(X/Y)=－∑1i=0∑1j=0p(xi)p(yj/xi)logp(xi/yj)(3．1．15)
根据
p(yj)=∑1i=0p(xi)p(yj/xi)
可得
p(y0)=∑1i=0p(xi)p(y0/xi)=q(1－p0)+(1－q)p1

p(y1)=∑1i=0p(xi)p(y1/xi)=qp0+(1－q)(1－p1)
根据
p(xi/yj)=p(yj/xi)p(xi)p(yj)
可得
p(x0/y0)=p(y0/x0)p(x0)p(y0)=q(1－p0)q(1－p0)+(1－q)p1

p(x1/y0)=p(y0/x1)p(x1)p(y0)=(1－q)p1q(1－p0)+(1－q)p1

p(x0/y1)=p(y1/x0)p(x0)p(y1)=qp0qp0+(1－q)(1－p1)

p(x1/y1)=p(y1/x1)p(x1)p(y1)=(1－q)(1－p1)qp0+(1－q)(1－p1)
代入式(3．1．15)，可得
H(X/Y)=－p(x0)［p(y0/x0)logp(x0/y0)+p(y1/x0)logp(x0/y1)］－

p(x1)［p(y0/x1)logp(x1/y0)+p(y1/x1)logp(x1/y1)］

=－q(1－p0)logq(1－p0)q(1－p0)+(1－q)p1+p0logqp0qp0+(1－q)(1－p1)－

(1－q)p1log(1－q)p1q(1－p0)+(1－q)p1+(1－p1)log(1－q)(1－p1)qp0+(1－q)(1－p1)

=－q(1－p)logq(1－p)q(1－p)+(1－q)p+plogqpqp+(1－q)(1－p)－

(1－q)plog(1－q)pq(1－p)+(1－q)p+(1－p)log(1－q)(1－p)qp+(1－q)(1－p)
由式(3．1．11)可得I(X； Y)为
I(X； Y)=H(X)－H(X/Y)
3．1．3平均互信息的特性
本节介绍平均互信息I(X； Y)的一些基本特性。
1． 非负性
由式(3．1．4)，互信息量不具备非负性的性质。信道传输某个特定的信源符号时信宿获得的信息量可能为负值。然而，从统计平均的角度看，通过一个信道获得的平均信息量不会是负值，总有
I(X； Y)≥0
只有当信源X与信宿Y相互统计独立时，信宿才接收不到任何信息。此时根据式(3．1．11)，有
I(X； Y)=H(X)－H(X/Y)=0
此时信道疑义度(信道损失熵)为
H(X/Y)=H(X)
信道传输的信息全部损失在信道中，以致没有任何信息传输到信宿。
2． 极值性
由式(3．1．12)和式(3．1．13)可知
I(X； Y)≤H(X)(3．1．16)

I(X； Y)≤H(Y)(3．1．17)
当信道损失熵H(X/Y)=0及噪声熵H(Y/X)=0时，式(3．1．16)和式(3．1．17)的等号成立，此时对应的信道分别是确定信道和无噪信道。
极值性表明，经过信道的传输，信息量或多或少会减少，最多保持发送的信息量。这就是数据处理定理。
3． 交互性
I(X； Y)=I(Y； X)(3．1．18)
根据平均互信息的定义
I(X； Y)=∑i∑jp(xiyj)logp(xi/yj)p(xi)=∑i∑jp(xiyj)logp(yi/xj)p(yi)=I(Y； X)(3．1．19)
这里利用了关系式
p(xi/yj)p(yj)=p(yj/xi)p(xi)
4． 凸性
根据平均互信息的定义式(3．1．9)，平均互信息I(X； Y)是信道转移概率分布p(y/x)和信源输入符号概率分布p(x)的函数，即I(X； Y)=I［p(y/x),p(x)］。p(y/x)代表信道特性，p(x)代表信源特性，因此不同的信道和信源得到的平均互信息不同。
根据凸函数的定义可以证明以下定理： 
定理3．1平均互信息I(X； Y)是输入信源的概率分布p(x)的∩型凸函数。
定理3．2平均互信息I(X； Y)是信道转移概率分布p(y/x)的∪型凸函数。
定理3．1表明，对给定的信道，存在某种信源分布，使信宿获得的平均互信息最大。信道上传输的最大平均互信息就是信道容量。该定理给出了信道容量的定义。
定理3．2表明，对给定的信源，存在某种信道，使信宿获得的平均互信息最小。如果把信道转移概率看作某种信源编码映射关系，那么可以认为，对给定的信源，存在某种信源编码，使压缩后的平均互信息最小。该定理是限失真信源编码的基础。
3．1．4平均互信息凸性的MATLAB分析
例3．1．2中，平均互信息I(X； Y)随信道转移概率分布p(yj/xi)和信源输入符号概率分布p(xi)变化的关系曲线分别如图3．1．3(a)和3．1．3 (b)所示。


图3．1．3二进制信道的平均互信息


图3．1．3对应的MATLAB程序代码如下： 

clear all

clc

%%%计算输入概率固定条件下的条件熵和互信息

%%%计算条件熵H(Y/X)

q=1/2;

p=0.0001:0.0001:1;

Hxy=-q*((1-p).*log2(q*(1-p)./(q*(1-p)+(1-q)*p))+p.*log2(q*p./(q*p+(1-q)*(1-p))))-(1-q)*(p.*log2((1-q)*p./(q*(1-p)+(1-q)*p))+(1-p).*log2((1-q)*(1-p)./(q*p+(1-q)*(1-p))));

%%%计算互信息I(X;Y)

Ixy=1-Hxy;

figure(1);      %%%图3.1.3(a)

plot(p,Ixy);

xlabel('p');

ylabel('I(X;Y)')

%%%计算信道转移概率固定条件下的条件熵和互信息

%%%计算条件熵H(Y/X)

p=1/3;

q=0.0001:0.0001:1;

Hxy=-q.*((1-p)*log2(q*(1-p)./(q*(1-p)+(1-q).*p))+p*log2(q*p./(q*p+(1-q)*(1-p))))-(1-q).*(p*log2((1-q)*p./(q*(1-p)+(1-q)*p))+(1-p)*log2((1-q)*(1-p)./(q*p+(1-q)*(1-p))));

%%%计算互信息I(X;Y)

Ixy=-q.*log2(q)-(1-q).*log2(1-q)-Hxy;

figure(2);        %%图3.1.3(b)

plot(q,Ixy);

xlabel('q');

ylabel('I(X;Y)')


在上例中，互信息是信源X的概率分布p(xi)和信道转移概率p(yj/xi)的函数，当p(xi)一定时，I是关于p(yj/xi)的∪型凸函数，存在极小值(图3．1．3(a))； 而当p(yj/xi)一定时，I是关于p(xi)的∩型凸函数，存在极大值(图3．1．3(b))。
3．2离散信道的数学模型与分类
由3．1节对平均互信息的讨论可知，对给定的信源，信宿获得的信息量由信道唯一确定，噪声和干扰主要从信道引入，它使信源输出的消息通过信道后产生错误或失真。因此信道的输入和输出不是确定的函数关系，而是统计依赖的关系。只要知道输入、输出，以及它们之间的统计依赖关系，那么信道的全部特性就确定了。


图3．2．1通信系统简化模型


本章关注信道输入(信源)、信道输出(信宿)以及受噪声或干扰影响的信道特性，所以第1章的通信系统模型可简化为图3．2．1。

在此模型中，信源是指原来的信源、信源编码器和信道编码器，其输出是二(多)进制信息序列。信道是包括发射机、实际信道(或称为传输媒质)和接收机在内的广义信道(又称为编码信道)，它的输入是二(多)进制数字序列，输出一般也是二(多)进制数字序列，而图3．2．1中的信宿可以是人或计算机。
3．2．1信道的分类
信源输出的消息通过信道才能传送到信宿。信道有不同的种类。
从信道的定义大体可把信道分为狭义信道和广义信道。狭义信道是以传输媒质为基础的信号通路，根据传输媒质的不同，可分为有线信道和无线信道，狭义的有线信道特指明线、双绞线、同轴电缆、光缆等传输媒质，狭义的无线信道特指无线电波传播的空间。为了分析问题的方便，人们把收/发两端的设备纳入信道，称为广义信道。根据纳入信道的设备不同，广义信道可分为编码信道和调制信道。编码信道指信源(或信道)编码器输出端到信源(或信道)译码器输入端的部分，从编译码的角度来看，编码器的输出是某一数字序列，而译码器的输入同样也是某一数字序列，它们可能是不同的数字序列。因此，从编码器输出端到译码器输入端，可以用一个对数字序列进行变换的方框来概括。调制信道指调制器输出端到解调器输入端的部分，从调制和解调的角度来看，调制器输出端到解调器输入端的所有变换装置及传输媒质，不论其过程如何，只不过是对已调制信号进行某种变换。广义的信道定义除了包括传输媒质，还包括传输信号的相关设备，在讨论通信的一般原理时，通常采用的是广义信道。
根据信道用户的多少，可分为单用户信道和多用户信道。单用户信道只有一个输入端和一个输出端； 多用户信道至少有两个以上的输入端或输出端。
根据输入端和输出端的关联，可分为无反馈信道和有反馈信道。
根据信道参数与时间的关系，可分为固定参数信道(恒参信道)和时变参数信道(随参信道)。
根据输入输出信号的特点，可分为离散信道、连续信道、半离散半连续信道和波形信道。离散信道的输入/输出信号在时间、幅度上均离散； 连续信道的输入/输出信号幅度连续、时间离散； 半离散半连续信道的输入/输出信号中有一个是离散的，一个是连续的，如AWGN信道，输入离散，输出连续； 波形信道就是实际模拟通信系统中的信道，其输入/输出信号在时间和幅度上均连续。
以下章节只研究无反馈、固定参数的单用户离散信道。
3．2．2信道的数学模型


设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图3．2．2所示。一个离散信道应有三个


图3．2．2信道模型


参数： 

输入符号集： X∈{x1,x2,…，xn}
输出符号集： Y∈{y1,y2,…，ym}
信道转移概率： p(Y/X)

根据这一模型，可对信道分类如下： 
(1) 无干扰信道： 输入信号与输出信号有一一对应关系
yj=f(xi)，并且p(yj/xi)=1yj=f(xi)

0yj≠f(xi)(3．2．1)
(2) 有干扰无记忆信道： 输入与输出无一一对应关系，输出只与当前输入有关，此时只需分析单个符号的转移概率p(yj/xi)即可。
(3) 有干扰有记忆信道： 这是最一般的信道，输入与输出无一一对应关系，输出不但与当前输入有关，还与以前的若干个输入有关。
对有干扰无记忆信道，根据输入/输出符号数目等于2、大于2或趋于∞，可分以下信道模型： 
1. 二进制离散信道，m=2，n=2
在二进制硬判决情况下，其信道转移概率矩阵为
P=p00p01

p10p11=1－p01p01
p101－p10
若p01=p10=pe，则称这种信道为二进制对称信道(BSC)，否则称为非对称信道。若p01或p10等于0，则称为Z信道(确定性信道)。通常BSC是一种无记忆信道，所以也称为随机信道，它说明数据序列中出现的错误彼此无关。
2. 离散无记忆信道
当无记忆信道的输入/输出符号大于2但为有限值时，称为离散无记忆信道(DMC)。信道的输入是n元符号，即输入符号集由n个元素X∈{x1,x2,…xn}构成，输出是m元符号，即信道输出由m个元素Y∈{y1,y2,…ym}构成。那么输入/输出符号之间共有mn个转移概率，采用转移概率矩阵P=［p(bj/ai)］=［pij］表示，即
P=p11p12…p1m
p21p22…p2m
︙︙︙
pn1pn2…pnm
式中，∑mj=1p(bj/ai)=1，i=1,2,…,n
BSC信道是DMC信道的一个特例，其输入/输出符号均为2，故BSC信道的转移概率矩阵可表示为
P=p00p01
p10p11=1－pp
p1－p
3. 离散输入、连续输出信道
离散输入、连续输出信道也称为半连续信道，手机和固话之间的信道就是一个半连续信道，手机上处理的是数字信号，固话上处理的是模拟信号。半连续信道的输出一般可表示为
Y=X+G(3．2．2)
式中，输入空间X是一个离散符号集，输出空间Y是一个连续符号集。在无线通信系统中，一般G是一个均值为零、方差为σ2的高斯随机变量，当X=ai给定后，Y是一个均值为ai、方差为σ2的高斯随机变量，即其概率密度函数为
p(y/X=ai)=12πσe－(y－ai)2/2σ2(3．2．3)
4. 波形信道——模拟信道
当信道的输入和输出都是随机模拟信号时，该信道称为波形信道，也即模拟信道。实际通信系统中的信道均为波形信道。加性信道是一种典型的波形信道，信道的输入x(t)、输出y(t)和加性噪声n(t)满足关系
y(t)=x(t)+n(t)(3．2．4)
若式中n(t)为高斯白噪声，则此信道称为高斯白噪声信道。
结论： 在离散或模拟加性噪声信道中，H(Y/X)=H(n)，H(n)称作噪声熵。
证明： 在离散或模拟加性信道中，接收到的随机变量Y是发送的随机变量X和噪声随机变量n的线性叠加，即
Y=X+n
基本加性信道中一般输入信号与噪声是相互独立的，满足
p(y/x)=p(n)
因此，在此加性信道中，条件熵为
H(Y/X)=－XYp(xy)logp(y/x)dxdy=－XYp(x)p(y/x)logp(y/x)dxdy

=－XNp(x)p(n)logp(n)dxdn=－∫Xp(x)dx∫Np(n)logp(n)dn

=－∫Np(n)logp(n)dn=H(n)
证明完毕。
3．3信道容量及其一般计算方法
第2章讨论的信源熵，即信源每符号所携带的平均信息量，也称为信源信息传输率或信源信息率。据此定义信源的信息传输速率为单位时间内信源平均发出的信息量。同样，讨论信道时，定义信道中每个符号所能传送的信息量为信息传输率R。假设信源发送符号X，信宿收到符号Y，则该信道中接收到符号Y后平均每个符号获得的关于X信息量是平均互信息I(X； Y)，可见平均互信息就是信道的信息传输率。即
R=I(X； Y)（bit/符号）(3．3．1)
若信道平均传输一个符号需要t秒，则单位时间内信道平均传输的信息量，即信道的信息传输速率为
Rt=I(X； Y)t（b/s）(3．3．2)

对于固定的信道，信道容量定义为信道信息传输率或信息传输速率的最大值，记为C或Ct。C是信道能够传输的最大信息量，Ct是单位时间内信道平均传输的最大信息量。由3．1节平均互信息的凸性可知，对于一个固定的信道(信道转移概率一定)，平均互信息是信源概率分布p(x)的∩型凸函数。因此，存在一种最佳的信源概率分布，使某一信道的平均互信息达到最大值，即信道容量。
C=maxp(x)I(X； Y)（bit/符号）(3．3．3)

Ct=1tmaxp(x)I(X； Y)(b/s)(3．3．4)
式中，t为平均传输一个符号所需的时间，单位为秒。
由式(3．3．3)和式(3．3．4)可见，信道容量与信源的统计特性无关，它只与信道的统计特性有关，是信道转移概率的函数。
信道容量是信道上能够传输给接收端的最大信息量，这一点除了数学上平均互信息I(X； Y)的凸性可以证明外，还可以通过一些例子进行说明。
例3．3．1无噪二元信道如图3．3．1所示。
无噪二元信道中，输出是输入的精确复制，可以无误差地接收任何传输比特。因此，每一次传输，可以可靠地传输1bit给接收端，也就是说，该信道的信道容量是1bit。
例3．3．2有噪四元信道如图3．3．2所示。


图3．3．1无噪二元信道




图3．3．2有噪四元信道


该信道中，接收端接收当前相同符号的概率是1/2。如果考虑所有输入符号，那么接收端收到某符号后将不能确定所发送的符号。如果仅考虑输入端口1和3，那么接收到某符号后能立即判断所发送的符号，如同二元无噪信道的特性。每次发送可以可靠地在信道上传输1bit给接收端，因此信道容量是1bit。


图3．3．3二元对称信道


一般情况下，通信信道不具有图3．3．1和图3．3．2简单的模型，因此不是总能确定可靠传输的输入符号子集。此时可以通过观察输出序列以趋于零的低误码率确定输入序列。

例3．3．3二元对称信道如图3．3．3所示，求其信道容量。

解： 二元对称信道是一个典型的有噪通信系统，设p-=1－p，则该信道的数学模型为
P=1－pp

p1－p=p-p

pp-
设二元信源的概率分布为p(0)=α，则p(1)=1－α=α-，则二元对称信道的平均互信息为
I(X； Y)=H(Y)－H(Y/X)=H(αp-+α-p,αp+α-p-)－H(p,1－p)
令
I(X； Y)α=0
得

α=12

C=maxp(x)I(X； Y)=I(X； Y)α=12=1+plogp+(1－p)log(1－p)(bit/符号)
上式进一步表明，二元对称信道的信道容量是信道转移概率p的函数，与信源符号概率分布α无关。p不同，则信道不同。不同信道的信道容量随p的变化如图3．3．4所示。


图3．3．4二元对称信道的信道容量随传输错误率p的变化


对于一般信道，计算信道容量的问题就是求该信道的平均互信息的极大值问题。对一些特殊类型的离散信道，有一些经验公式可以推导出来以便于计算其信道容量。
图3．3．4对应的MATLAB程序代码如下： 

clear all

clc

%%%计算二元信道符号传输概率变化时的信道容量曲线q=1/2;

p=0.0001:0.0001:1;

C=1+p.*log2(p)+((1-p).*log2(1-p);

figure(1);%%%图3.3.4

plot(p,C);

xlabel('p');

ylabel('C')

3．3．1特殊离散信道的信道容量
根据平均互信息的表达式
I(X； Y)=H(Y)－H(Y/X)(3．3．5)

I(X； Y)=H(X)－H(X/Y)(3．3．6)
若式(3．3．6)中，损失熵H(X/Y)=0，那么该信道称作无损信道； 若式(3．3．5)中噪声熵H(Y/X)=0，则该信道称作无噪信道； 损失熵和噪声熵均为零的信道称为无噪无损信道。这些特殊信道的信道容量求解问题，已经从求平均互信息I(X； Y)的极大值问题简化为求信息熵H(X)或H(Y)的极大值问题。
有噪无损信道的信道容量为
C=maxp(x)H(X)(3．3．7)
无噪有损信道的信道容量为
C=maxp(x)H(Y)(3．3．8)
无噪无损信道的信道容量为
C=maxp(x)H(X)=maxp(x)H(Y)(3．3．9)
1． 有噪无损信道
在离散有噪无损信道中，一个X值对应多个Y值，每个X对应的Y值不重合。因此，一个Y值一一对应确定的X值。信道转移概率矩阵中每一列仅有一个非零元素，每一行有多个非零元素，其和为1。因此该信道的损失熵H(X/Y)=0，而噪声熵H(Y/X)≠0。有噪无损信道的信道容量为
C=maxp(x)H(X)


图3．3．5有噪无损信道


例3．3．4一个有噪无损信道如图3．3．5所示。

其信道转移概率矩阵为
P=13131300
0001434
可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。此时信道疑义度为0，而信道噪声熵不为0，从而
C=maxHp(x)(X)=log2=1（bit/符号）
2．  无噪有损信道
离散无噪有损信道中，一个X值对应一个Y值，每个Y对应的X值不重合。因此，一个X值一一对应确定的Y值。信道转移概率矩阵中每一行仅有一个“1”元素。因此该信道的损失熵H(X/Y)≠0，而噪声熵H(Y/X)=0。无噪有损信道的信道容量为
C=maxp(x)H(Y)
例3．3．5一个无噪有损信道如图3．3．6所示。
其信道转移概率矩阵为
P=10
10
10
01
01
可见，此信道每一行只有一个“1”元素，此时信道疑义度不为0，而信道噪声熵为0，从而
C=maxHp(x)(Y)=log2=1(bit/符号)
3． 无噪无损信道
离散无噪无损信道中，一个X值对应一个Y值，每个Y对应一个X值。信道转移概率矩阵中每一行和每一列都仅有一个“1”元素。因此该信道的损失熵H(X/Y)≠0，而噪声熵H(Y/X)=0。无噪无损信道的信道容量为
C=maxp(x)H(Y)
例3．3．6一个无噪无损信道如图3．3．7所示。


图3．3．6无噪有损信道




图3．3．7无噪无损信道


其信道转移概率矩阵为
P=100
010
001
可见，此信道每一行只有一个“1”元素，每一列也只有一个“1”元素，此时由于信道的损失熵和疑义度都等于0，所以
C=maxp(x)H(Y)=maxp(x)H(X)=log3（bit/符号）
3．3．2对称离散信道的信道容量
如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，称为行对称，如果每一列也是由这一组元素组成的，称为列对称，同时满足行对称和列对称的信道称为对称信道。如
P=13131616

16161313，P=121316
161213
131612
如果离散信道的输入符号数和输出符号数相等，即n=m； 其信道转移概率矩阵为
P=p-pm－1…pm－1
pm－1p-…pm－1
………
pm－1pm－1…p-
则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的各行之和为1，各列之和也为1。
若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道。准对称信道的信道转移概率矩阵只满足行对称，不满足列对称。如
P1=1/3
1/61/3
1/31/6
1/61/6
1/3
可划分为
1/31/6
1/61/31/3
1/31/6
1/6
又如
P2=0．7
0．20．1
0．10．2
0．7
可分成
0．70．2
0．20．70．1
0．1
对上述对称信道，信道容量的计算可参考以下公式。
对称离散信道的信道容量为
C=maxp(xi)H(Y)－H(Y/xi)=logm－H(pi1,pi2,…,pim)(3．3．10)
强对称信道的信道容量为
C=logm－Hp-,pm－1,…,pm－1

=logM－log(M－1)－H(p-,p)(3．3．11)
准对称离散信道的信道容量为
C=logN－H(pi1,pi2,…,pim)－∑Kk=1NklogMk(3．3．12)
式中，n为输入符号集的个数； m为输出符号集的个数； pi1,pi2,…,pim为矩阵中的行元素； Nk为第k个划分子矩阵中的行元素之和； Mk为第k个划分子矩阵的列元素之和。
上述信道的平均互信息I(X； Y)达到信道容量时，上述信道的输入符号等概率分布。
结论： 对称离散信道的信道损失熵H(Y/X)=H(Y/xi)。
证明： 根据信道损失熵的定义
H(Y/X)=－∑ni=1∑mj=1p(xiyj)logp(yj/xi)=－∑ni=1∑mj=1p(xi)p(yj/xi)logp(yj/xi)

=∑ni=1p(xi)－∑mj=1p(yj/xi)logp(yj/xi)

=∑ni=1p(xi)H(Y/xi)

=H(Y/xi)∑ni=1p(xi)=H(Y/xi)(3．3．13)
式中，H(Y/xi)为对信道转移概率矩阵的第i行求和，由对称信道定义，此值是一个与i无关的一个常数。即
H(Y/xi)=H(pi1,pi2,…,pim)(3．3．14)
结论： 对称离散信道输入符号等概率分布时，输出符号也等概率分布，反之亦成立。
证明： 根据联合概率展开公式
p(yj)=∑ip(xiyj)=∑ip(xi)p(yj/xi)
如果输入符号等概率，即p(xi)=1n，则
p(yj)=1n∑ni=1p(yj/xi)
由对称信道定义，第j列的信道转移概率p(yj/xi)之和为定值，与列数j无关，因此
∑ni=1p(y1/xi)=∑ni=1p(y2/xi)=…=∑ni=1p(ym/xi)
则
p(y1)=p(y2)=…=p(ym)=1m
可见，对称信道的输入符号等概率分布，输出符号也等概率分布。
反之，当输出符号等概率分布时，p(yj)=1m，则
p(xi)=∑mj=1p(yj)p(xi/yj)=1m∑mj=1p(xi/yj)
由对称信道定义，第i行的信道转移概率p(xi/yj)之和为定值，与行数i无关，因此
∑mj=1p(x1/yj)=∑mj=1p(x2/yj)=…=∑mj=1p(xn/yj)
则
p(x1)=p(x2)=…=p(xn)=1n
可见，对称信道的输出符号等概率分布，输入符号也等概率分布。

证明完毕。
例3．3．7某信道的信道转移概率矩阵为
P=13131616

16161313
求信道容量。
解： 该信道为对称信道，根据信道公式(3．3．10)，有
C=log4－H13,13,16,16=2+13log3+13log3+16log6+16log6

=0．817（bit/符号）
例3．3．8对于二元对称信道，
P=1－pp

p1－p=p-p

pp-
其信道容量为
C=log2－H(p-,p)=1－H(1－p,p)
是信道转移概率p的函数。
例3．3．9某准对称信道
P=1－p－qqp
pq1－p－q
可分成
1－p－qp

p1－p－qq
q
根据信道容量公式(3．3．12),有
C=log2－H(1－p－q,p,q)－(1－q)log(1－q)－qlog2q
3．3．3一般离散信道的信道容量
对于一般的信道,可根据信道容量定义，对平均互信息的输入符号概率分布求极值。
C=maxp(x)I(X； Y)（bit/符号)
根据平均互信息定义
I(X； Y)=∑ni=1∑mj=1p(xi)p(yj/xi)logp(yj/xi)p(yj)
对输入符号概率分布p(xi)求极值，得到
I(X； Y)p(xi)=∑mj=1p(yj/xi)logp(yj/xi)p(yj)=I(xi； Y)
根据输入符号概率全概公式，并引入参数e、λ>0，可以得到
∑mj=1P(yj/xi)logP(yj/xi)P(yj)=λ+loge

∑ni=1P(xi)=1
该信道的信道容量为
C=λ+loge(3．3．15)
定理3．3一般离散信道达到信道容量的充要条件是输入概率分布满足
I(xi； Y)=C，对所有xi，p(xi)≠0(3．3．16)

I(xi； Y)≤C，对所有xi，p(xi)=0(3．3．17)
该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。
可以利用该定理对一些特殊信道求得它的信道容量
例3．3．10输入符号集为{0,1,2}，信道转移概率矩阵为
P=10
1212
01
假设P(0)=P(2)=1/2，P(1)=0，则
p(y=0)=12
p(y=1)=12
则
I(0,Y)=∑2y=1p(y/0)logp(y/0)p(y)=log2

I(2,Y)=∑2y=1p(y/2)logp(y/2)p(y)=log2

I(1,Y)=∑2y=1p(y/1)logp(y/1)p(1)=0
所以
C=log2=1(bit/符号)
对于一般信道的求解方法，就是求解方程组
C=I(xi； Y)=∑mj=1p(yj/xi)logp(yj/xi)－∑mj=1p(yj/xi)logp(yj)(3．3．18)
移项，并令βj=C+logp(yj)，得
∑mj=1p(yj/xi)logp(yj/xi)=∑mj=1p(yj/xi)［C+logp(yj)］=∑mj=1p(yj/xi)βj
(3．3．19)
上式可展开为n个方程： 
∑mj=1p(yj/x1)logp(yj/xi)=∑mj=1p(yj/x1)βj

∑mj=1p(yj/x2)logp(yj/x2)=∑mj=1p(yj/x2)βj

︙

∑mj=1p(yj/xn)logp(yj/xn)=∑mj=1p(yj/xn)βj(3．3．20)
若n=m，则可以解出m个未知数βj，然后根据βj=C+logp(yj)，得
p(yj)=2βj－C(3．3．21)
根据
∑mj=12βj－C=1
可得
C=log∑mj=12βj(3．3．22)
例3．3．11某信道的信道转移概率矩阵为
P=1214014

0100

0010

1401412
可列方程组
12β1+14β2+14β4=12log12+14log14+14log14
β2=0
β3=0
14β1+14β3+12β4=14log14+14log14+12log12
解之得
β2=β3=0
β1=β4=－2

C=log(2－2+20+20+2－2)=log52=log5－1

p(y1)=p(y4)=2－2－log5+1=110

p(y2)=p(y3)=20－log5+1=410

p(x1)=p(x4)=430

p(x2)=p(x3)=1130
3．3．4N次离散扩展信道的平均互信息与信道容量
上一节讨论了单符号离散信道，其输入和输出都只是单个随机变量。然而一般离散信道的输入和输出是离散的随机序列，若输入或输出随机序列的长度为N，且其中每一个随机变量都取值于同一个输入或输出的符号集，则该信道称为单符号离散信道的N次离散扩展信道。若输入或输出随机序列中每一个随机变量相互独立，则该信道称为N次离散无记忆扩展信道或离散无记忆信道的N次扩展信道。N次离散扩展信道与单符号离散信道的数学模型相同，为{XN,P(YN/XN),YN}，如图3．2．2所示。不同的是，N次离散扩展信道的输入和输出均为长度为N的随机序列，可表示为
XN=(X1X2…Xi…XN),Xi∈{x1,x2,…,xn}(3．3．23)

YN=(Y1Y2…Yj…YN),Yj∈{y1,y2,…,ym}(3．3．24)
而且当信道无记忆时，N次离散扩展信道的输入和输出随机序列之间的转移概率等于对应时刻的随机变量的转移概率的乘积，即
p(YN/XN)=p(Y1Y2…Yj…YN/X1X2…Xi…XN)

=p(βl/αk)

=p(βl1βl2…βlN/αk1αk2…αkN)

=∏Ni=1p(βli/αki)(3．3．25)
式中，
αki∈x1,x2,…,xn,βli∈y1,y2,…,ym,k=1,2,…,nN,l=1,2,…,mN
(3．3．26)
则N次离散扩展信道的信道转移概率矩阵为
P=p（β1/α1）p（β2/α1）…p（βmN/α1）
p（β1/α2）p（β2/α2）…p（βmN/α2）
︙︙︙
p（β1/αnN）p（β2/αnN）…p（βmN/αnN）=p11p12…p1mN
p21p22…p2mN
︙︙︙
pnN1pnN2…pnNmN
(3．3．27)
式中，∑mNl=1p(βl/αk)=1，k=1,2,…,nN
由此，N次离散扩展信道的数学模型如图3．3．8所示。


图3．3．8N次离散扩展信道的数学模型


例3．3．12二进制无记忆对称信道矩阵为
P=p00p01
p10p11=1－pp
p1－p=p-p
pp-
求该信道的二次扩展信道矩阵及其信道容量。
解： 二次扩展信道的输入符号集为
X2=（X1X2）={00,01,10,11}
输出符号集为
Y2=（Y1Y2）={00,01,10,11}
根据无记忆信道的特性,可得二次扩展信道的转移概率为
p11=p（β1/α1）=p(00/00)=p(0/0)p(0/0)=p-2

p12=p（β2/α1）=p(01/00)=p(0/0)p(1/0)=p-p

p13=p（β3/α1）=p(10/00)=p(1/0)p(0/0)=pp-

p14=p（β4/α1）=p(11/00)=p(1/0)p(1/0)=p2
同理，可求得p(βl/αk)，k=1,2,3,4； l=1,2,3,4。则二次扩展信道的信道转移概率矩阵为
P=p-2p-ppp-p2
p-pp-2p2pp-
pp-p2p-2p-p
p2pp-p-pp-2
已知N次离散扩展信道的转移概率矩阵，根据平均互信息的定义，可得N次离散扩展信道的平均互信息为
I(XN； YN)=H(YN)－H(YN/XN)

=∑nNk=1∑mNl=1p(βl/αk)logp(βl/αk)p(βl)(3．3．28)
当信道无记忆时，有
p(YN/XN)=∏Ni=1p(βli/αki)=∏Ni=1p(Yi/Xi)(3．3．29)
当信源无记忆时，有
p(XN)=p(XiX2…XN)=∏Ni=1p(Xi)(3．3．30)
对于无记忆信源和无记忆信道，将式(3．3．29)和式(3．3．30)代入式(3．3．28)，可得
H(YN)=∑Ni=1H(Yi)

H(YN/XN)=∑Ni=1H(Yi/Xi)
则
I(XN； YN)=∑Ni=1I(Xi； Yi)(3．3．31)
若N次扩展信道的输入和输出随机序列中的每一个随机变量取自同一个概率空间，且输入的随机序列在同一信道(或时不变信道)中传输，则有
I(XN； YN)=NI(X； Y)(3．3．32)
对于N次离散扩展信道，其信道容量为
CN=maxp(XN)I(XN； YN)

进一步满足无记忆信源和无记忆信道条件时，有
CN=maxp(X)∑Ni=1I(Xi； Yi)=∑Ni=1maxp(Xi)I(Xi； Yi)=∑Ni=1Ci(3．3．33)
若输入随机序列在同一信道中传输时，Ci=C，则
CN=NC(3．3．34)
这说明对于离散无记忆信道，其N次离散扩展信道的信道容量等于单符号离散信道的信道容量的N倍，条件是输入信源为无记忆的，且每一个输入变量的分布各自达到最佳分布。
3．3．5并联信道的平均互信息与信道容量
本节只讨论独立并联信道，其数学模型如图3．3．9所示。图中，每一个输入的随机变量经过不同的并行信道进行传输，每一个信道的输出只与本信道的输入有关，与其他信道的输入和输出都无关。因此该独立并联信道相当于时变的无记忆的N次离散扩展信道。

若独立并联信道的每个输入和输出均为单符号随机变量，表示为
Xi∈xi1,xi2,…，xin

Yj∈yj1,yj2,…，yjm
可根据时变无记忆的N次离散扩展信道的特性给出N个独立并联信道的联合传递概率为
p(Y1Y2…YN/X1X2…XN)=p(Y1/X1)P(Y2/X2)…P(YN/XN)
对于独立并联信道，当各输入信源也相互独立时，N个独立并联信道的平均互信息等于各信道的平均互信息之和。一般情况下，N个独立并联信道的平均互信息会随着输入信源间存在的相关性而减少。
I(XN； YN)≤∑Ni=1I(Xi； Yi)(3．3．35)
当各输入信源相互独立时取等号。
同理可得到N个独立并联信道的信道容量与各信道的信道容量之间的关系： 
C并≤∑Ni=1Ci(3．3．36)
当各输入信源相互独立，且各信源符号的概率分布达到各信道容量的最佳输入分布时取等号。
例3．3．13两个并联的BSC信道如图3．3．10所示。


图3．3．9独立并联信道数学模型




图3．3．10独立并联BSC信道



求该并联信道的转移概率矩阵及信道容量。
解： 两个BSC信道的转移概率矩阵相同，为
P1=P2=1－pp

p1－p=p-p
pp-
并联信道的输入符号集为
X2=（X1X2）∈{x01,x11,x02,x12}
输出符号集为
Y2=（Y1Y2）={y01,y11,y02,y12}
根据无记忆信道的特性，可得独立并联信道的转移概率为
P=1－pp00
p1－p00
001－pp
00p1－p
该信道为对称DMC信道，其信道容量为
C并(Ⅰ,Ⅱ)=log4－H(p,1－p)(3．3．37)
若三个BSC信道并联，其信道容量为
C并(Ⅰ,Ⅱ,Ⅲ)=log6－H(p,1－p)(3．3．38)
依此类推，若N个BSC信道并联，其信道容量为
C并(Ⅰ,Ⅱ…,N)=log2N－H(p,1－p)(3．3．39)
并联信道的信道容量随并联级数的关系如图3．3．11所示。随着并联级数的增加，信道容量逐渐增加。


图3．3．11N级二元对称信道并联的信道容量


图3．3．11对应的MATLAB程序代码如下： 

clear all

clc

p=0:0.0001:1;

H=-p.*log2(p)-(1-p).*log2(1-p);

c1=1-H;

c2=2-H;

c3=log2(6)-H;

figure(1);

plot(p,c1,'--',p,c2,'-.',p,c3);

xlabel('p');

ylabel('并联信道容量C')

legend('N=1','N=2','N=3');

axis(［0 1,0 1］)


3．3．6串联信道的平均互信息与信道容量
中继通信系统的信道是一种典型的串联信道。本节以2个信道串联为例进行讨论。假设信道Ⅰ的输入为单符号随机变量X，输出为单符号随机变量Y，信道Ⅱ与信道Ⅰ串联，因此信道Ⅱ的输入为信道Ⅰ的输出Y，信道Ⅱ的输出为单符号随机变量Z。X、Y、Z的取值分别为
X∈{a1,a2,…,an}

Y∈{b1,b2,…,bm}

Z∈{z1,z2,…,zt}


图3．3．12串联信道模型


串联信道模型如图3．3．12所示。

信道Ⅰ的输出Y仅与其输入X有关，而信道Ⅱ的输出Z不仅与信道Ⅱ的输入Y有关，也与信道I的输入X有关。因此信道I和信道Ⅱ的转移概率分别为
p(Y/X)=p(bj/ai)

p(Z/XY)=p(zk/aibj)
串联信道的转移概率为
p(Z/X)=∑Yp(Y/X)p(Z/XY)
若串联信道满足一阶马尔可夫链性质，即信道当前的输出只与当前的输入符号有关，则
p(Z/XY)=p(Z/Y)=p(zk/bj)

p(Z/X)=∑Yp(Y/X)p(Z/Y)=∑jp(bj/ai)p(zk/bj)
此时，信道的转移概率矩阵满足
［p(Z/X）］n×t=［p(Y/X)］n×m·［p(Z/Y)］m×t(3．3．40)
式(3.3.40)说明，X、Y、Z满足马尔可夫链的串联信道的转移概率矩阵等于各串联信道的转移概率矩阵的乘积。
据平均互信息的定义，串联信道的输出Z所能提供的关于XY的平均信息量不小于从输出Z 所获得的关于X或Y的平均信息量。
I(XY； Z)≥I(X； Z)

I(XY； Z)≥I(Y； Z)
当X、Y、Z满足马尔可夫链性质，即各串联子信道相互独立时取等号。
由第2章信息不增性定理，X、Y、Z满足马尔可夫链的串联信道的平均互信息满足关系
I(X； Z)≤I(X； Y)(3．3．41)

I(X； Z)≤I(Y； Z)(3．3．42)
对于式(3．3．41)，X、Z之间总的串联信道的转移概率矩阵与X、Y之间信道Ⅰ的转移概率矩阵相同时取等号，此时Y、Z之间的信道Ⅱ为无噪无损信道。同理，当信道Ⅰ为无噪无损信道时式(3．3．42)取等号。
式(3．3．41)和式(3．3．42)也表明，对于一般的串联信道，串联的子信道越多，则总的串联信道的平均互信息越小，甚至减小为零。
已知串联信道的平均互信息，则串联信道的信道容量定义为
C串=maxp(X)I(X； Z)(3．3．43)


图3．3．13两个二进制对称信道

组成的串联信道

与串联信道的平均互信息特性相同，串联信道的容量也可能随着串联子信道的数量增加而减小，甚至为零。


例3．3．14两个二进制对称信道组成的串联信道如图3．3．13所示。
求两信道串联后的信道容量。
解： 令p-=1－p，串联信道的信道转移概率矩阵为
PXZ=PYZPXY=p-p
pp-·p-p
pp-=p-2+p22p-p
2p-pp-2+p2
可见，串联信道为对称信道，当信源输入符号等概率分布时达到信道容量
C串(Ⅰ,Ⅱ)=log2－H(p-2+p2,2p-p)(3．3．44)
依此类推，可得三级二元对称信道串联后的信道容量为
C串(Ⅰ,Ⅱ,Ⅲ)=log2－H（p-3+3p-p2,p3+3p-2p）(3．3．45)
串联信道的信道容量与串联级数的关系如图3．3．14所示。随着串联级数的增加，信道容量有所减小。
图3．3．14对应的MATLAB程序代码如下： 

clear all

clc

p=0:0.0001:1;

H1=-p.*log2(p)-(1-p).*log2(1-p);

H2=-((1-p).^2+p.^2).*log2((1-p).^2+p.^2)-(2*(1-p).^2.*p).*log2(2*(1-p).^2.*p);

H3=-((1-p).^3+3*(1-p).*p.^2).*log2((1-p).^3+3*(1-p).*p.^2)-(p.^3+3*(1-p).^2.*p).*log2(p.^3+3*(1-p).^2.*p);

c1=1-H1;

c2=1-H2;

c3=1-H3;

figure(1);

plot(p,c1,'--',p,c2,'-.',p,c3);

xlabel('p');

ylabel('串联信道容量C')

legend('n=1','n=2','n=3');

axis(［0 1,0 1］)



图3．3．14n级二元对称信道串联的信道容量



3．3．7对称离散信道的信道容量MATLAB分析
四元信道输入为等概率分布，即pi=1/4，i=1,2,3,4，信道转移矩阵为
P=1/21/200
01/21/20
001/21/2
1/2001/2
求其信道容量。
(1) 用于计算互信息量的函数文件hmessaga．m，其源代码如下： 

function r=hmessage(x,f,nx,my)

%x为输入概率分布，f为转移概率矩阵，nx为输出符号的可选个数，即x的元素个数

%nx同时也是矩阵f的行数，my是矩阵f的列数，即输出概率空间中的元素个数

sum=0;

for i=1:nx

for j=1:my

t=f(i,j)*x(i);

%求平均互信息量

if t>0

sum=sum-t*log(f(i,j))/log(2);

end

end

end

r=sum;

disp('平均互信息量');

double(r)   %返回结果

(2) 用于计算离散信源平均信息量的函数为message．m文件，其源代码如下： 

function r=message(x,n)

r=0;

fori=1:n

r=r-x(i)*log(x(i))/log(2);

end

disp('离散信源的平均信息量')

r


(3) 计算信道容量。利用函数message求信源的熵，利用函数hmessage求平均互信息量，并最终得到信道容量。其实现的MATLAB程序代码如下： 

clc;

clear all

x=［0.25 0.25 0.25  0.25］;%信道输入符号的概率

f=［0.5 0.5 0 0;0 0.5 0.5 0;0 0 0.5 0.5; 0.5 0 0 0.5］;%信道转移概率矩阵

Hf1=hmessage(x,f1,4,4);

hx=message(x,4);

disp('信道容量')

c=hx-Hf1

disp('信道的平均互信息量')

Hf

disp('信源的平均信息量')

hx

程序运行结果为

信道容量

c =   1

信道的平均互信息量

Hf =  1

信源的平均信息量

hx =   2


由运行结果可以看出给定任意矩阵P=1/21/200
01/21/20
001/21/2
1/2001/2，输入本程序，经过MATLAB软件运行判断其为对称信道，利用函数message求平均互信息量，得出该信道的平均互信息量为： Hf1=1，此时离散信源的平均信息量为： hx=2，最终得出该信道的信道容量： c=1。
3．3．8离散无记忆信道的信道容量MATLAB分析
用MATLAB实现DMC容量迭代计算的算法如下： 
（1） 初始化信源分布： p(k)i=1n,i=0,1,…,n，置k=0，选1>deta>0，一般选deta=0．000001。
(2) 由式t(k)ij=p(k)ipji∑ip(k)ipji，得反向转移概率矩阵{t(k)ij}。
(3) 由式p(k+1)i=exp∑jpjilogt(k)ij∑iexp∑jpjilogt(k)ij，计算P(k+1)={p(k+1)i}。
(4) 由式C(k+1)=I(P(k+1),t(k))=log∑ni=0exp∑mj=0pjilogt(k)ij，计算C(k+1)。
(5) 若|C(k+1)－C(k)|C(k+1)>deta，则k=k+1，转步骤(2)。
(6) 输出迭代次数k以及C(k+1)和P(k+1)，终止。
根据信道容量的定义和上述DMC信道容量迭代计算方法，可用MATLAB编程进行迭代计算得出信道容量。程序中，需要定义输入信源个数、信宿个数和信道容量的精度，程序能任意生成随机的信道转移概率矩阵，也可以自己输入信道转移矩阵，最后输出最佳信源分布和信道容量。将程序dmc．m文件直接运行可以自主输入信道转移概率矩阵，运行dmc1．m可以随机生成信道转移概率矩阵。

%%%%dmc.m

clc;

clear;

n=input('输入信源个数');

m=input('输入信宿个数');

deta=input('输入信道容量的计算精度');

Q=rand(n,m);    %形成n行m列随机矩阵Q

A=sum(Q,2);     %把Q矩阵每一行相加和作为一个列矩阵A

B=repmat(A,1,m);%把矩阵A的第一列复制成m列的新矩阵



%判断信道转移概率矩阵输入是否正确

P=input('输入信道转移概率矩阵P:')

［n,m］=size(P);

for i=1:n

if(sum(P(i,:))~=1)   %检测信道转移概率矩阵行之和是否为1

error('信道转移概率矩阵输入有误')

return;

end

for j=1:m

if(P(i,j)<0||P(i,j)>1)%检测信道转移概率矩阵是否存在负值或大于1

error('信道转移概率矩阵输入有误')

return

end

end

end

%将上面的语句用下面两条语句代替可自动生成信道转移概率矩阵：

%disp('信道转移概率矩阵:')

%P=Q./B   %信道转移概率矩阵(新数值等于每一个原矩阵的数值除以所在
%行的数值之和)



i=1:1:n;   %设置循环，起始值为1，公差为1，结束值为n(Q的行数)

p(i)=1/n; %原始信源:r个符号，等概率分布

disp('原始信源分布')

p(i)

E=repmat(p',1,m);   %把n个等概率元素组成一列，复制为m列

for k=1:1:1/deta

m=E.*P;   %m=p.*E;   %后验概率的分子部分

a=sum(m); %把得到的矩阵每列相加的和构成一行su1=repmat(a,n,1);%把得到的行矩阵a复制n行，成为一个新矩阵su1,后验概率的分母部分

t=m./su1;%后验概率矩阵

n=exp(sum(P.*log(t),2));   %信源分布的分子部分

su2=sum(n);   %信源分布的分母部分

p=n/su2;

E=repmat(p,1,n);

C(k+1)=log(sum(exp(sum(P.*log(t),2))))/log(2);

kk=abs(C(k+1)-C(k))/C(k+1);

if(kk<=deta)

break;

end

disp('迭代次数:k='),disp(k)

end

disp('达到信道容量时的信源分布:p='),disp(p')

disp('信道容量:C='),disp(C(k+1))

程序运行结果为

输入信源个数:2

输入信宿个数:3

输入信道容量的精度:0.000001

输入信道转移矩阵P:［0.50000.30000.2000;0.30000.50000.2000］

P =

0.5000 0.3000 0.2000

0.3000 0.5000 0.2000

原始信源分布： 

ans =0.50000.5000

迭代次数:k=1

最大信道容量时的信源分布:p=0.50000.5000

最大信道容量:C=0.0365


输入信源个数:2

输入信宿个数:2

输入信道容量的计算精度:0.000001

输入信道转移矩阵P:［0.60.4;0.010.99］



P =

0.60000.4000

0.01000.9900

原始信源分布:

ans =0.50000.5000

最大信道容量时的信源分布:p=0.42400.5760

最大信道容量:C=0.3688


如果采用随机生成信道转移概率矩阵，只需要将程序dmc.m中的以下语句进行更改，命名为dmc1.m： 

%P=input('输入信道转移概率矩阵P:')


%［n,m］=size(P);

%for i=1:n

%if(sum(P(i,:))~=1)   %检测信道转移概率矩阵行元素之和是否为1

%error('信道转移概率矩阵输入有误')

%return;

%end

%for j=1:m

%if(P(i,j)<0||P(i,j)>1)%检测信道转移概率矩阵是否存在负值或大于1

%error('信道转移概率矩阵输入有误')

%return

%end

%end

%end

%将上面的语句用下面两条语句代替可随机生成信道转移概率矩阵： 

disp('信道转移概率矩阵:')

P=Q./B   %信道转移概率矩阵(新数值等于每一个原矩阵的数值除以所在
%行的数值之和)

运行dmc1.m结果如下： 

输入信源个数:2

输入信宿个数:3

输入信道容量的精度:0.000001

信道转移概率矩阵:

P =

0.08230.4998    0.4179

0.6074   0.3038    0.0888



原始信源分布： 


ans =    0.50000.5000

最大信道容量时的信源分布:p=    0.5256    0.4744

最大信道容量:C=    0.2648


3．4连续信道和波形信道的信道容量
当信道的输入和输出都是单个连续型随机变量时，称作单符号连续信道。而输入和输出为N维连续型随机序列的信道称为多维连续信道。因此单符号连续信道是N=1的多维连续信道的特例。
N维连续信道的输入和输出为N维连续型随机序列： 
XN=（X1X2…Xi…XN）,Xi∈［ai,bi］或Xi∈R(3．4．1)

YN=（Y1Y2…Yj…YN）,Yj∈［aj,bj］或Yj∈R(3．4．2)
而N维连续信道的转移概率密度函数为
p(YN/XN)=p(Y1Y2…YN/X1X2…XN)
且满足
∫R∫R…∫Rp(Y1Y2…YN/X1X2…XN)dY1dY2…dYN=1
因此描述多维连续信道的数学模型为
［XN,p(YN/XN),YN］,X,Y∈R(3．4．3)
由3．2节，信道的输入{x(t)}和输出{y(t)}都是随机模拟信号时，该信道称为波形信道，也即模拟信道。因为实际波形信道在有限的观察时间内，能近似满足限时T、限频W的条件，在研究波形信道的信息传输问题时，采用的方法是对波形信道的输入{x(t)}和输出{y(t)}进行时间采样，离散化成N=2WT个时间离散、取值连续的平稳随机序列XN=（X1X2…Xi…XN）和YN=（Y1Y2…Yj…YN），从而把波形信道转化为N维连续信道进行研究。
与离散信道的平均互信息凸性相似，可以证明，连续信道和波形信道的平均互信息I(X； Y)是信源概率密度函数pX(x)的上凸函数。已知连续信道和波形信道的平均互信息，其信道容量的求解问题就是： 当信源X满足某一概率密度函数pX(x)时，信道平均互信息I(X； Y)的最大值，即
C=maxpX(x)I(X； Y)


图3．4．1加性连续信道模型


一般连续信道或波形信道的信道容量计算并不容易，当信道为加性时计算会简单一些。

在单符号加性信道中，如图3．4．1所示，信道的输出Y与输入X和加性噪声n的关系是
Y=X+n

一般输入X与信道噪声n是相互独立的，因此加性信道的转移概率密度函数等于噪声的概率密度函数,即
p(Y/X)=p(X+n/X)=p(n)(3．4．4)
证明： 根据坐标变换理论p(xy)=p(xn)Jxnyn=p(xn)

坐标变换为x=x，n=y-xJxnyn=xxnx
xyny=1－1
01=1
p(xn)=p(x)p(n)p(xy)=p(x)p(y/x)=p(x)p(n)
所以
p(y/x)=p(n)
证明完毕。
因此，在加性信道中，噪声熵
Hc(Y/X)=－XYp(x)p(y/x)logp(y/x)dxdy

=－XYp(x)p(n)logp(n)dxdn

=－∫Np(n)logp(n)dn∫Xp(x)dx=－∫Np(n)logp(n)dn=Hc(n)
该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声源的不确定性，即噪声源的熵，这也是把H(Y/X)被称为噪声熵的原因。
因此，加性信道的平均互信息可简化为
I(X； Y)=H(X)－H(Y/X)=H(X)－H(n)（bit/符号）(3．4．5)
在噪声的概率密度函数已知情况下，若输入信源X满足某一概率密度函数，使平均互信息取得极大值，就可求得单符号加性信道的信道容量。
同理，N维加性连续信道的平均互信息可表示为
I(XN； YN)=H(XN)－H(nN)（bit/序列）(3．4．6)
加性波形信道的平均互信息表示为
I(x(t)； y(t))=limN→∞I(XN； YN)=limN→∞［H(XN)－H(nN)］（bit/符号）(3．4．7)
一般情况下，对于波形信道，都是研究其单位时间内的信息传输率
Rt=1TlimN→∞I(x(t)； y(t))（b/s）(3．4．8)
本节主要研究单符号高斯加性连续信道和限带高斯白噪声加性波形信道的信道容量问题。
3．4．1单符号高斯加性信道
单符号连续信道的输入信源X为
X
pX(x)=R
pX(x),∫RpX(x)dx=1(3．4．9)
输出Y为
Y
pY(y)=R
pY(y),∫RpY(y)dy=1(3．4．10) 
当加性信道噪声满足高斯分布时，该信道称为高斯加性信道。满足高斯分布方差为σ2的噪声的信息熵
H(n)=log2πeσ2(3．4．11)
则单符号高斯加性信道的信道容量为
C=maxpX(x)I(X； Y)=maxpX(x)［H(Y)－H(n)］=maxpX(x)H(Y)－H(n)=maxpX(x)H(Y)－log2πeσ2(3．4．12)
由于输入/输出均为连续信源，根据连续信源差熵的极值性条件，当输出随机变量Y的平均功率受限时，其信息熵H(Y)存在最大值。若输出Y的平均功率为PY，当Y是均值为零的高斯变量，其熵H(Y)最大。
maxpX(x)H(Y)=log2πePY(3．4．13)
因为输出Y是输入X和噪声n的线性叠加，且噪声n是均值为零、方差为σ2的高斯变量，要使Y是均值为零、方差为PY的高斯变量，要求输入X也是均值为零、方差为PX的高斯变量。且
PX=PY－σ2(3．4．14)
此时平均功率受限的高斯加性信道的信道容量为
C=log2πePY－log2πeσ2=logPYσ2=12log1+PXσ2 (bit/符号)(3．4．15)
式中,PXσ2为信号噪声功率比，简称信噪比。
可见,单符号高斯加性信道的信道容量由信噪比决定。只有输入信源和噪声均为高斯变量时，信道的平均互信息才能达到信道容量。
3．4．2限带高斯白噪声加性波形信道
研究波形信道的信息传输问题时，采用的方法是对限时T、限频W的波形信道的输入{x(t)}和输出{y(t)}进行时间采样，离散化成N=2WT个时间离散、取值连续的平稳随机序列XN=（X1X2…Xi…XN）和YN=（Y1Y2…Yj…YN），从而把波形信道转化为N维连续信道进行研究。
加性波形信道的平均互信息可用N维加性连续信道的平均互信息近似计算得到： 
I(x(t)； y(t))=limN→∞I(XN； YN)=limN→∞［H(XN)－H(nN)］（bit/符号）(3．4．16)
若该多维连续信道满足无记忆特性，则N维统计独立的随机序列可分解为N个独立的单符号连续变量。N维无记忆连续信道等价于N个独立的并联单符号连续信道，因此
I(XN； YN)=NI(Xi； Yi)(3．4．17)
根据3．4．1节限功率单符号高斯加性信道的信道容量公式，对平均功率受限的高斯加性多维连续信道，当N维随机序列中的每一个输入连续变量Xi都是均值为零、方差为PXi的高斯变量时，其平均互信息I(XN； YN)达到极大值，其信道容量为
CN=maxp(X)I(XN； YN)=12∑Ni=1log1+PXiσ2i(3．4．18)
若每个输入连续变量的平均功率相同，每个噪声分量的平均功率也相同，即
PX1=PX2…=PXN=PX，σ21=σ22=…σ2N=σ2
则
CN=maxp(X)I(XN； YN)=N2log1+PXσ2(3．4．19)
高斯加性波形信道可等价于N=2WT维高斯加性信道，对于频带受限于(0,W)，时间受限于(0,T)的平均功率受限的高斯加性波形信道，信道的一次传输看成是一次采样，传输N个采样点的时间是T秒，则信道每秒传输2W个样点，所以单位时间的信道容量为
Ct=2WCN=Wlog1+PXσ2（b/s)(3．4．20)
这就是著名的香农公式。
香农公式推出的条件： 
(1)  连续消息是平均功率受限的高斯随机过程，平均功率为PX。被采样后的样值同样呈高斯分布，样值之间彼此独立。
(2) 噪声为加性高斯白噪声(AWGN)，平均功率为σ2。
(3) 信号的有效带宽为W。
香农公式说明： 
(1)  当信道容量一定时，增大信道带宽，可以降低对信噪功率比的要求； 反之，当信道频带较窄时，可以通过提高信噪功率比来补偿。
(2) 当信道频带无限时，其信道容量与信号功率成正比。
limW→∞Ct=limW→∞Wlog21+PXPN=limW→∞Wlog21+PXN0W
式中，N0=PNW为加性高斯噪声的单边谱密度。令z=PXN0W，则
limW→∞Ct=limW→∞PXN0N0WPXlog21+PXN0W=limW→∞PXN0log2（1+z）1z
当且仅当z→0时，ln（1+z）1z→1，所以
limW→∞Ct=PXN0ln2≈1．4427PXN0(b/s)(3．4．21)
香农公式的意义： 
(1) 信道容量与所传输信号的有效带宽成正比，信号的有效带宽越宽，信道容量越大。
(2) 信道容量与信道上的信噪比有关，信噪比越大，信道容量也越大，但其制约规律呈对数关系。
(3) 信道容量C、有限带宽W和信噪比可以相互起补偿作用，即可以互换。应用极为广泛的扩展频谱通信、多相位调制等都以此为理论基础。
(4) 当信道上的信噪比小于1时(低于0dB)，信道容量并不等于0，说明此时信道仍具有传输消息的能力。也就是说信噪比小于1时仍能进行可靠的通信，这对于卫星通信、深空通信等具有特别重要的意义。
(5) 当信道带宽趋于无穷大时，信道容量C趋于有限值，正比于发射功率和信道白色高斯噪声的功率谱密度之比。因此，无限带宽并不能换取无限的信道容量。该结论指出了信号带宽与发射功率互换的有效性问题。信道容量是通信系统的最大信息传输速率，通常是系统的设计指标，因此C往往是给定的。这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。
香农公式是在噪声为AWGN情况下推得的，由于高斯白噪声是危害最大的信道干扰，因此对于那些不是高斯白噪声的信道干扰，其信道容量应该大于按香农公式计算的结果。
3．4．3高斯信道的MATLAB建模
高斯噪声的概率密度函数服从高斯分布(即正态分布)。发射机发送的信号经过加性高斯信道后的接收信号是发送信号和高斯噪声之和。
如果带传输的信号功率为P_signal，信道的输入信噪比为SNR_dB，可据此计算定义噪声。

SNR_DB=［0:1:12］;   %定义信噪比

sum=1000000;        %定义信号长度

message =randsrc(1,sum,［0 1］);%定义发送信号

%%定义噪声

P_noise=P_signal/10.^(SNR_dB/10);     %噪声功率

sigma=sqrt(P_noise);           %噪声方差

noise1=sigma*randn(1,sum);   %定义噪声实部

noise2=sigma*randn(1,sum);   %定义噪声虚部

receive=message+noise1+noise2*j;   %接收信号



%也可以用以下语句替换上面5个语句： 

receive=awgn(message, SNR_DB,'measured','linear');


3．4．4多径衰落信道的MATLAB建模
由于多径和移动台运动等影响因素，使得移动信道对传输信号在时间、频率和角度上造成了色散，如时间色散、频率色散、角度色散等，因此多径信道的特性对移动通信质量有着至关重要的影响，多径信道的包络统计特性是研究的焦点。根据不同无线环境，接收信号包络一般服从几种典型分布，如瑞利分布、莱斯分布或Nakagamim分布。本书专门针对服从瑞利分布和莱斯分布的多径信道进行模拟仿真，进一步加深对多径信道特性的了解。
瑞利衰落的包络服从瑞利分布，而相位服从均匀分布。瑞利衰落信道的发射机和接收机之间没有直射波路径，存在大量反射波。莱斯衰落信道的发射机和接收机存在直射波路径。莱斯衰落的包络服从莱斯分布或称广义瑞利分布。
根据ITURM．1125标准，离散多径衰落信道模型为
y～(t)=∑Nk=1rk(t)x～(t－τk)(3．4．22)
式中，rk(t)为复路径衰落，服从瑞利分布或莱斯分布； τk为多径时延； N为多径条数。
可用MATLAB中的rayleighchan或ricianchan函数产生瑞利信道或莱斯信道模型，结合filter函数产生对应信道传输后的信号。

Ts = 1e-4;   %抽样周期 (s)

fd = 100;    %最大多普勒频移

%路径延时和衰落

tau = ［0.1 1.2 2.3 6.2 11.3］*Ts;    %多径时延

PdB = linspace(0, -10, length(tau)) - length(tau)/20; %幅度衰落



nTrials = 10000;   %仿真次数

N = 100;           %每帧抽样点数

h = rayleighchan(Ts, fd, tau, PdB); %产生瑞利信道

h.NormalizePathGains = false;

h.ResetBeforeFiltering = false;

h.StoreHistory = 1;

h                   %显示信道



%信道衰落仿真

for trial = 1:nTrials

x = randint(10000, 1, 4);   %输入数字信号

dpskSig = dpskmod(x, 4);    %产生DPSK调制信号

y = filter(h, dpskSig);     %经过信道后的信号

plot(h);

if isempty(findobj('name', '多径信道')), break; end;

end

程序运行后显示的信道h如图3．4．2所示，具体信道参数为

h =



ChannelType: 'Rayleigh'

InputSamplePeriod: 1.0000e-004

DopplerSpectrum: ［1x1 doppler.jakes］

MaxDopplerShift: 100

PathDelays: ［1.0000e-005 1.2000e-004 2.3000e-004 6.2000e-004 0.0011］

AvgPathGaindB: ［-0.2500 -2.7500 -5.2500 -7.7500 -10.2500］

NormalizePathGains: 0

StoreHistory: 1

StorePathGains: 0

PathGains: ［0.3107 + 0.2950i -0.3586 + 0.3846i 0.4535 + 0.1432i -0.4136 + 0.2926i 
0.1283 + 0.0777i］

ChannelFilterDelay: 4

ResetBeforeFiltering: 0

NumSamplesProcessed: 0



图3．4．2多径信道h的冲激响应



也可用MATLAB中能生成伪随机序列的randn语句，得到期望的莱斯衰落序列。瑞利衰落序列可以由K=0dB得到。图3．4．3和图3．4．4分别是一个当K=0dB和K=7dB时典型的瑞利衰落和莱斯衰落信号包络，衰落幅度用分贝(dB)表示。


图3．4．3当K=0dB时瑞利衰落信号的包络




图3．4．4当K=7dB时莱斯衰落信号的包络


图3．4．4对应的MATLAB程序riceam．m： 

clc;

Kdb=7;

N=100000;

Mi=1;

r=rice_fading(Kdb,N,Mi);

r_dB=20*log10(r_dB);

figure(1);

plot(r_dB(1:500));

xlabel('采样点')

ylabel('幅度/dB')

子程序rice_fading.m： 

function r=rice_fading(Kdb,N,Mi)

K=10^(Kdb/10);

const=1/(2*(K+1));

x=randn(1,N);

y=randn(1,N);

r=sqrt(const*((x+sqrt(2*K)).^2+y.^2));

rt=zeros(1,Mi*length(r));

ki=1;

fori=1:length(r)

rt(ki:i*Mi)=r(i);

ki=ki+Mi;

end

r=rt;


利用MATLAB对莱斯分布的累积分布函数(CDF)进行近似估计。莱斯分布的累积分布函数是通过迭代法得到的，在每一步的迭代中利用MATLAB中的find和length函数得到符合要求的衰落序列，并使用上面产生莱斯分布的M文件rice_fading．m得到K=7dB时的莱斯分布的累积分布函数的近似估计，如图3．4．5所示。然后通过MATLAB中的hist函数得到的瑞利分布概率密度函数(PDF)的估计值与解析表达式分析求得的PDF进行比较，结果如图3．4．6所示，所得的估计值与理论分析求得的PDF非常接近。


图3．4．5K=7dB时莱斯分布的CDF




图3．4．6K=0dB时瑞利分布的PDF


图3．4．5对应的MATLAB程序rice．m： 

clc;

Kdb=7;

N=100000;

Mi=1;

r=rice_fading(Kdb,N,Mi);

RdB=20*log10(r);

Rt=［min(RdB):max(RdB)］;

for m=1:length(Rt)

fade=find(RdB<Rt(m));

Nm=length(fade);

AF(m)=Nm/N;

end

semilogy(Rt,AF,'k-o');

set(gcf,'paperunits','centimeters');

set(gcf,'papersize',［5 5］);   %设置图像大小为5cm×5cm

grid;

图3.4.6对应的MATLAB程序ray.m： 

clc;

N=100000;

x=randn(1,N);

y=randn(1,N);

r=sqrt(0.5*(x.^2+y.^2));

step=0.1;

range=0:step:3;

h=hist(r,range);

fr_approx=h/(step*sum(h));

fr=(range/0.5).*exp(-range.^2);

plot(range,fr_approx,'ko',range,fr,'k');

set(gcf,'paperunits','centimeters');

set(gcf,'papersize',［5 5］);   %设置图像大小为5cm×5cm

grid;

3．5信源与信道的匹配
信源发出的消息要通过信道来传输。根据信道容量的定义，只有当信源符号的概率分布P(x)满足一定条件时才能使信道的信息传输率R=I(X； Y)达到最大值，即信道容量。
C=maxp(x)I(X； Y)(bit/符号)
对于某一信道，其信道容量是一定的。信源与信道连接时，信道的信息传输率一般小于信道容量，即
R=I(X； Y)<C
这时，信道没有得到充分利用。如果信源能使信道的信息传输率达到信道容量，称此信源与信道达到匹配，否则认为信道有剩余。信道剩余度γ定义为
γ=C－I(X； Y)(3．5．1)
信道的相对剩余度γc定义为
γc=C－I(X； Y)C=1－I(X； Y)C(3．5．2)
对于某一固定的信道，其信道容量C一定，信道剩余度由信道的信息传输率决定。根据平均互信息的凸性，对于一定的信道，平均互信息I(X； Y)是输入信源的概率分布P(x)的∩型凸函数，即信道的剩余度由信源的特性决定。
在无损信道中，信道容量为
C=logn(3．5．3)
式中，n为信道输入符号的个数。
无损信道的信息传输率为
I(X； Y)=H(X)(3．5．4)
式中，H(X)为与信道连接的信源的熵。因此，无损信道的相对剩余度为
γc=1－H(X)logn(3．5．5)
式(3．5．5)与第2章信源冗余度的定义式(2．6．3)类似。也就是说，对于无损信道，提高其信息传输率的研究就等同于减小信源冗余度的研究。信源的冗余度减小了，信道的信息传输率提高了，当信息传输率达到信道容量时信道剩余度就消除了，从而信道和信源达到匹配。
实际上，上述结论对于一般的信道同样成立，因为对于某一信道，其信道剩余度的大小完全由信源特性决定。
可见，信源与信道的匹配问题就是信源冗余度的问题。通过信源编码可减小信源的冗余度，减小信道的剩余度，使信源与信道达到匹配。

习题
1． 发送端有三种等概率符号(x1,x2,x3)，在一个二进制信道中，信源消息集X={0,1}且p(1)=p(0),信宿的消息集Y={0,1},信道传输概率p(y=1|x=0)=1/4，p(y=0|x=1)=1/8。求： 
(1) 在接收端收到y=0后，所提供的关于传输消息X的平均条件互信息I(X； y=0)； 
(2) 该情况下所能提供的平均互信息量I(X； Y)。
2． 一信道的输入和输出分别为X和Y，其中X等概率取值为+1、-1，Y=X+Z，Z是均值为零、方差为σ2的高斯分布。
(1) 画出Y的概率分布PY(y)与σ2关系的曲线； 
(2) 画出信道输入与输出之间的平均互信息I(X； Y)与σ2的关系曲线。
3． 某二元对称信道如图3．1所示，请编写程序画出互信息I(x0； y0)和I(X； Y)关于错误概率p的关系图，并进行解释。
4． 某一离散无记忆信道如图3．2所示，信道输入、输出分别为X、Y。
(1) 写出该信道的转移概率矩阵P； 
(2) 求信道容量C； 
(3) 求达到容量时的输出概率分布； 
(4) 求达到容量时的输入概率分布。


图3．1二元对称信道




图3．2离散无记忆信道


5． 二元对称信道转移矩阵为P=1－pp
p1－p。
(1) 若输入p(x0)=34，p(x1)=14，求H(X)和I(X； Y)； 
(2) 求该信道的信道容量和最佳输入分布； 
(3) p取何值时，信道容量达到最大值，用MATLAB工具画出该信道的信道容量随p的变化曲线。
6． 某信道的转移概率矩阵为
P1=1/43/4
3/41/4，P2=1/41/85/8
1/81/45/8
分别求上述两个信道的信道容量及其达到信道容量时的输入概率分布。
7． 一个高斯白噪声信道，接收机前端的带通滤波器带宽为1MHz，信道上的信号与噪声的平均功率之比为30．1dB，求该信道的信道容量。
8． 设有三个信道的转移概率矩阵分别为
P1=10
01,P2=1/43/4
3/41/4,P3=1/21/2
1/21/2
试比较上述三个信道的好坏。
9． 设某信源发送端符号集为X∈{x1,x2}，p(x1)=a，接收端符号集为Y={y1,y2,y3}，信道转移矩阵为P=1/21/20
1/21/41/4，求该信道的信道容量及其达到信道容量时的输入概率分布。
10． 设某一信号的信息传输率为5．6kb/s，在带宽为4kHz的高斯信道中传输，噪声功率谱密度N0=5×10-6mW/Hz。试求： 
(1) 无差错传输需要的最小输入功率是多少？
(2) 此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。
11． 一个二元对称信道，如图3．3所示，其中p=0．1。
(1) 设信道以1500个二元符号/s的速度输入符号。现有一消息序列共有13000个二元符号，符号间无统计相关性，且每一符号取值概率分布p(x=0)=p(x=1)=1/2，从信息传输的角度考虑，10s内能否将这个消息序列无失真地传送完？
(2) 若信源概率分布为p(x=0)=0．7，p(x=1)=0．3，无失真传送以上信源消息序列至少需要多长时间？
12． 一信道如图3．4所示。



图3．3二元对称信道




图3．4信道的转移概率


(1) 求信道容量； 
(2) 若将两个同样的信道串接，求串接后信道的转移概率矩阵； 
(3) 求(2)中串接信道的容量和达到容量时的输入概率分布。
13． 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平。假设各个像素的10个亮度电平都以等概率出现，实时传送的电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB。试计算在这些条件下传送电视的视频信号所需的带宽。