第3章〓信道与信道容量

信道是通信系统中的重要部分，它是传输信息的载体，其任务是以信号方式传输信息、存储信息，因而研究信道就是研究信道中理论上能够传输或存储的最大信息量，即信道的容量问题。

本章首先讨论信道的分类及表示信道的参数，其次讨论各种信道的容量及其计算方法。本章只限于研究一个输入端和一个输出端的信道，即单用户信道，其中以无记忆、无反馈、固定参数的离散信道为重点，它是进一步研究其他各种类型信道的基础。

3．1信道的基本概念

研究信道容量主要考虑信道中干扰的影响，信道中存在的干扰使输出信号与输入信号之间不存在固定的函数关系，只存在统计依赖关系，因此可通过研究分析输入信号和输出信号的统计特性来研究信道。

3.1.1信道的分类

实际通信系统中的信道种类很多，包含的设备也各不相同，因而可从不同的角度进行分类。

根据用户数量可分为单用户信道和多用户信道。单用户信道是指只有一个输入端和一个输出端，信息只朝一个方向(单向)传输； 多用户信道是指输入端和输出端中至少有一端存在两个以上用户，信息在两个方向(双向)都能传输。

根据信道输入端和输出端的关系可分为无反馈信道和反馈信道。无反馈信道是指输出端的信号不反馈到输入端，即输出信号对输入信号没有影响； 而反馈信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。

根据信道参数与时间的关系可分为固定参数信道和时变参数信道。固定参数信道的信道参数(统计特性)不随时间变化而变化，如光纤、电缆信道； 若信道参数随时间变化而变化，则称为时变参数信道，如无线信道的参数会随天气、周围环境的变化而发生较大的变化。

根据信道中所受噪声种类不同可分为随机差错信道和突发差错信道。在随机差错信道中，噪声独立随机地影响每个传输码元，如以高斯白噪声为主体的信道； 另一类噪声、干扰的影响则是前后相关的，错误成串出现，这样的信道称为突发差错信道，如实际的衰落信道、码间干扰信道，这些噪声可能由大的脉冲干扰或闪电等引起。由于这两类噪声导致的差错特性不同，因而需要选择不同的纠错编码方法，这将在第6章中详细讨论。


根据输入、输出信号的特点可分为离散信道、连续信道、半离散半连续信道、波形信道等。离散信道的输入、输出信号在时间和幅度上均离散； 连续信道中信号的幅度是连续的，而时间是离散的； 半离散半连续信道是指输入和输出信号中有一个是离散的，另一个是连续的； 波形信道是指输入、输出信号在时间和幅度上均连续，一般可用随机过程{x(t)}来描述。由2.1.2节已知，只要随机过程有某种限制(如限频限时)，就可分解为(时间或频率)离散的随机序列，随机序列可以是幅度上离散的，也可以是连续的。因此可将波形信道分解为离散信道、连续信道和半离散半连续信道进行研究。

近年来，随着无线通信的快速发展，人们发现在发送端和接收端分别放置多副天线的系统，可以充分利用空间资源，大大提高通信系统的性能。这是一类较为特殊的信道，称为多输入多输出(MIMO)信道，其分析研究方法有所不同。

事实上，信道这个名词是广义的，可以指简单的一段线路，也可以指包含设备的复杂系统。即使在同一个通信系统中，也可以有不同的划分，在图11的通信系统物理模型中，就可将信道编码、译码和信道看作一个广义的信道，甚至可将加密、解密和信源编码、解码都看作信道。当然不同的划分，信道信号会呈现出不同的特点。

3.1.2信道的数学模型

设信道的输入矢量为X=(X1，X2，…，Xi，…)，Xi∈A={a1,a2,…,an}，输出矢量为Y=(Y1，Y2，…，Yj，…)，Yj∈B={b1,b2,…,bm}，通常采用条件概率p(Y|X)来描述信道输入、输出信号之间统计的依赖关系。在分析信道问题时，该条件概率通常称为转移概率。根据信道是否存在干扰及有无记忆，可将信道分为下面三大类。

1. 无干扰(无噪声)信道

信道的输出信号Y与输入信号X之间有确定的关系Y=f(X)，已知X就确知Y，所以转移概率为

p(Y|X)=1,Y=f(X)0,Y≠f(X)

2. 有干扰无记忆信道

信道的输出信号Y与输入信号X之间没有确定的关系，但转移概率满足下列条件： p(Y|X)=p(y1|x1) p(y2|x2)…p(yL|xL)，即每个输出信号只与当前输入信号之间有转移概率关系，而与其他非该时刻的输入信号、输出信号无关，也就是无记忆。这种情况使问题得到简化，无须采用矢量形式，只要分析单个符号的转移概率p(yj|xi)即可。
因此，为了便于分析，本章后面介绍的信道大都基于该种情况，即有干扰记忆信道。

由输入、输出信号的符号数量(等于2、大于2、趋于∞)，又可进一步分为如下一些信道模型。

1) 二进制离散信道

该信道模型的输入和输出信号的符号数都为2，即X∈A={0,1}和Y∈B={0,1}，转移概率为

p(Y=0|X=1)=p(Y=1|X=0)=p
p(Y=1|X=1)=p(Y=0|X=0)=1-p(311)


其信道模型如图31所示。这是一种对称的二进制输入、二进制输出信道，所以称为二进制对称信道(binary symmetric channel,BSC)。由于这种信道的输出符号仅与对应时刻的一个输入符号有关，而与以前的输入无关，所以这种信道是无记忆的。BSC信道是研究二元编解码最简单也最常用的信道模型。

2) 离散无记忆信道

当无记忆信道的输入、输出符号数大于2但为有限值时，称为离散无记忆信道(discrete memoryless channel，DMC)，其示意如图32所示。信道的输入是n元符号，即输入符号集由n个元素X∈{a1，a2，…，an}构成，而信道的输出是m元符号，即信道输出符号集由m个元素Y∈{b1，b2，…，bm}构成，n×m个转移概率采用转移概率矩阵P=［p(bj|ai)］=［pij］表示，即

P=p11p12…p1mp21p22…p2m︙︙…︙pn1pn2…pnm(312)




图31二进制对称信道




图32离散无记忆信道



显然，输入ai时各可能输出值bj的概率之和必定等于1，即

∑mj=1p(bj|ai)=1,i=1,2,…,n(313)


所以转移概率矩阵中各行元素之和为1。因为BSC信道是DMC信道的特例，故BSC信道的转移概率矩阵可表示为

P=1-ppp1-p(314)


3) 离散输入、连续输出信道

假设信道输入符号选自一个有限、离散的输入符号集X∈{a1，a2，… an}，而信道输出未经量化(m→∞)，这时的信道输出可以是实轴上的任意值，即Y∈{-∞,∞}。这种信道模型称为离散时间无记忆信道，它的特性由离散输入X、连续输出Y，以及一组条件概率密度函数pY(y|X=ai),i=1,2,…,n决定。这类信道中最重要的一种是加性高斯白噪声(AWGN)信道，对于它而言

Y=X+G(315)


式中，G是一个零均值、方差为σ2的高斯随机变量。当给定X=ai后，Y是一个均值为ai、方差为σ2的高斯随机变量

pY(y|ai)=12πσe-(y-ai)2/2σ2(316)


4) 波形信道

当信道输入和输出都是随机过程{x(t)}和{y(t)}时，该信道称为波形信道。在实际模拟通信系统中，信道都是波形信道。在通信系统模型中，将来自各部分的噪声集中在一起，认为都是通过信道加入的。

因为实际波形信道的频宽总是受限的，所以在有限观察时间tB内可满足限频fm、限时tB的条件。由2.1.2节，可将波形信道输入{x(t)}和输出{y(t)}的平稳随机过程信号离散化为L个(L=2fmtB)时间离散、取值连续的平稳随机序列X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)。这样波形信道就转化为多维连续信道，信道转移概率密度函数为

pY(y|x)=pY(y1,y2,…,yL|x1,x2,…,xL)(317)



且满足

∫R∫R…∫R∫RpY(y1,y2,…,yL|x1,x2,…,xL)dy1dy2…dyL=1


其中,R为实数域。若多维连续信道的转移概率密度函数满足

pY(y|x)=∏Ll=1pY(yl|xl)(318)


则称此信道为连续无记忆信道。即在任一时刻输出变量只与对应时刻的输入变量有关，与以前时刻的输入、输出均无关。

一般情况下，式(318)不能满足，也就是连续信道任一时刻的输出变量与以前时刻的输入、输出都有关，称为连续有记忆信道。

根据噪声对信道中信号的作用不同可将信道分为两类： 加性噪声信道和乘性噪声信道，即噪声与输入信号相加或相乘。分析较多、较方便的是加性噪声信道。单符号信道可表示为

y(t)=x(t)+n(t)(319)


其中，n(t)是加性噪声过程的一个样本函数。在这种信道中，噪声与信号通常相互独立，所以

pX,Y(x,y)=pX,n(x,n)=pX(x)pn(n)


则 pY(y|x)=pX,Y(x,y)pX(x)=pX,n(x,n)pX(x)=pn(n)(3110)

即信道的转移概率密度函数等于噪声的概率密度函数。进一步考虑条件熵

Hc(Y|X)=-RpX,Y(x,y)logpY(y|x)dxdy
=-∫RpX(x)dx∫RpY(y|x)logpY(y|x)dy
=-∫RpX(x)dx∫Rpn(n)logpn(n)dn
=-∫Rpn(n)logpn(n)dn
=Hc(n)(3111)


该结论表明条件熵Hc(Y|X)是由噪声引起的，它等于噪声信源的熵Hc(n)，所以称条件熵为噪声熵(2.2节中曾定义)。

在加性多维连续信道中，输入矢量x、输出矢量y和噪声矢量n之间的关系为y=x+n。同理可得

pY(y|x)=pn(n)，Hc(Y|X)=Hc(n)(3112)


以后主要讨论加性噪声信道，噪声源主要是高斯白噪声。

3. 有干扰有记忆信道

一般情况都是如此，如实际的数字信道中，当信道特性不理想，存在码间干扰时，输出信号不但与当前的输入信号有关，还与以前的输入信号有关。这种情况较难处理，常用的方法有两种。一是将记忆很强的L个符号当作矢量符号，各矢量符号之间认为无记忆，但此时会引入误差，L越大，误差越小； 二是将转移概率p(Y/X)看作马尔可夫链的形式，记忆有限，信道的统计特性可用于已知现时刻输入信号和前时刻信道所处状态的条件下，如p(yn,sn/xn,sn-1)，这种处理方法很复杂，通常取一阶时稍简单。

在分析问题时选用以上何种信道模型完全取决于分析者的目的。如果感兴趣的是设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式BSC信道模型； 若分析性能的理论极限，则多选用离散输入、连续输出信道模型。如果想设计和分析数字调制器和解调器的性能，则可采用波形信道模型。本书后面主要讨论编、解码，因此DMC信道模型使用最多。

3.1.3信道容量的定义

将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R，即

R=I(X;Y)=H(X)-H(X|Y)bit/符号


若已知平均传输一个符号所需的时间为t(s)，则将信道在单位时间内平均传输的信息量定义为信息传输速率，Rt=I(X;Y)/t，单位为bit/s。

2.3节中曾述及互信息I(X;Y)是输入符号分布概率p(ai)和信道转移概率p(bj|ai)的函数。对于某特定信道，若转移概率p(bj|ai)已经确定，则互信息就是关于输入符号分布概率p(ai)的U形凸函数，也就是可以找到某种概率分布p(ai)，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量，即信道容量(channel capacity)

C=maxp(ai)I(X;Y)(3113)


C的单位是信道上每传送一个符号(每使用一次信道)所能携带的比特数，即bit/符号(bits/symbol或bits/channel use)。当然以上I(X;Y)值的最大化是在下列限制条件下进行的，即

p(ai)≥0
∑ni=1p(ai)=1(3114)


当不是以2为底而是以e为底取自然对数时，信道容量的单位变为奈特/符号(nats/symbol)。如果已知符号传送周期为T秒，则可以“秒”为单位计算信道容量，此时Ct=C/T，以bit/s(bps)或nats/s为信道容量单位。

对于固定信道参数的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，取决于输入端的概率分布。

而对于时变信道参数的信道，由于其信道参数随时间变化，不能用固定值表示，其信道容量也不再是一个固定值，而是一个随机变量。此时用另外两个量来表征信道性能： 一是平均容量，也称遍历容量(ergodic capacity)，它是对随机信道容量所有可能的值进行平均的结果，即Cavg=EH(C)，一般用于衡量系统整体意义上的信道容量性能； 二是中断容量(outage capacity)，当信道瞬时容量Cinst小于用户要求的速率时，信道就会发生中断事件，发生该事件的概率称为中断概率Poutage。显然，对于某个信道而言，中断概率的大小取决于用户要求的速率，要求的速率越大，中断概率越大，只有(1-Poutage)的概率能够满足用户的传输要求，就将这个用户要求的速率定义为对应该中断概率Poutage的中断容量Coutage，即p(Cinst<Coutage)=Poutage。

3．2离散单个符号信道及其容量

信道的输入和输出均以单个符号的形式表示，或以序列形式表示，但符号之间不相关，即无记忆。这类信道分析起来较为简单。

3.2.1无干扰离散信道

设信道输入为X∈A={a1,a2,…,an}，信道输出为Y∈B={b1,b2,…,bm}。按照X与Y的对应关系可分为下列几种。这些信道是部分理想化的，所以实际应用较少。

(1) X、Y一一对应，如图33(a)所示，若n=m，即为无噪无损信道，则条件概率矩阵为单位矩阵，H(Y|X)=0，I(X;Y)=H(X)=H(Y)。此时当输入符号分布为等概率时，信道的传输能力可达到信道容量C=max I(X;Y)=logn。



图33部分理想化的离散信道


(2) 多个输入变为一个输出，如图33(b)所示，此时n>m，即为无噪有损(确定)信道，则噪声熵H(Y|X)=0，但疑义度(损失的信息量)H(X|Y)≠0，所以H(X)≥H(Y)，信道容量C=max I(X;Y)=max H(Y)。

(3) 一个输入对应多个输出，但每个输入对应的输出值不重合，如图33(c)所示，此时n<m，即为有噪无损信道，正是由于信道噪声使同一个输入值对应不同的输出值，疑义度H(X|Y)=0，噪声熵H(Y|X)≠0，所以H(X)≤H(Y)，信道容量C=max I(X;Y)=max H(X)。

以上结论是在离散情况下得出的，而连续时由于Hc(X)是相对值，其绝对的熵值无限大，所以信道容量也无限大。

3.2.2对称离散无记忆信道

在离散无记忆(DMC)信道中，最简单的是对称信道。如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，则称该矩阵是输入对称的； 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，则称该矩阵是输出对称的； 如果输入输出都对称，则称该DMC信道为对称的DMC信道。

例如，1313161616161313和121316161213131612都是对称的。

由于对称信道转移概率矩阵中的每行元素都相同，所以∑jp(bj|ai)logp(bj|ai)的值与i无关，则条件熵

H(Y|X)=-∑ip(ai)∑jp(bj|ai)logp(bj|ai)
=-∑jp(bj|ai)logp(bj|ai)
=H(Y|ai)，i=1，2，…，n(321)


与信道输入符号的概率分布p(ai)无关。而信道容量为

C=maxp(ai) I(X;Y)=maxp(ai)［H(Y)-H(Y|X)］=maxp(ai) H(Y)-H(Y|X)
=maxp(ai) H(Y)-H(Y|ai)(322)


如果信道输入符号等概率分布p(ai)=1/n，则由于转移概率矩阵的列对称，所以

p(bj)=∑ip(ai)p(bj|ai)=1n∑ip(bj|ai)


与j无关，即信道输出符号也等概率分布； 反之，若信道输出符号等概率分布，对称信道的输入符号必定也是等概率分布的。因此要使式(322)中的H(Y)达到最大，只要信道输出符号等概率分布，此时的输入符号也等概率分布。因此对称DMC信道的容量为

C=logm-H(Y|ai)=logm+∑mj=1pijlogpij(323)


式中，m为信道输出符号集中的符号数，p(bj|ai)简写为pij。

例31信道转移概率矩阵为P=1313161616161313，代入式(323)，求得信道容量为

C=log24-H13,13,16,16≈0.082bit/符号


例32信道转移概率矩阵为P=1-εεn-1…εn-1εn-11-ε…εn-1︙︙…︙εn-1εn-1…1-ε，该信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1-ε，错误概率ε被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。其容量为

C=logn-H1-ε,εn-1,…,εn-1(324)


式中，logn为输入的信息H(X)，而实际传送的信息为C，H1-ε,εn-1,…,εn-1就是信道中丢失的信息，是由信道干扰造成的信息损失。



图34信道容量随错误概率变化的曲线

当n=2时，即为BSC信道，C=1-H(ε)。C随ε变化的曲线如图34所示。从图中可知，当ε=0时，错误概率为0，无差错，信道容量达到最大，每符号1bit，输入端的信息全部传输至输出端。当ε=1/2时，错误概率与正确概率相同，从输出端得不到关于输入的任何信息，互信息为0，即信道容量为零。对于1/2<ε≤1的情况，可在BSC的输出端颠倒0和1，使信道容量以ε=1/2点中心对称。

下面介绍一类特殊的对称DMC信道。如图35所示，X为信道输入，Z为信道干扰，Y为信道输出，取值空间均为同一整数集{0,1,…,K-1}，Y=XZ mod K。该信道称为离散无记忆模K加性噪声信道。计算机系统和数字通信系统中有些情况下可用该模型描述。由信道的对称性及



图35离散无记忆模K

加性噪声信道




H(Y|X)=-∑x,yp(x)p(y|x)logp(y|x)
=-∑x,zp(x)p(z)logp(z)
=H(Z)


可得，该类信道的容量为

C=logK-H(Z)(325)


例33离散无记忆模K加性噪声信道Y=XZ mod K，X和Y均取值于{0,1,…,K-1}，ZP(Z)=1231/31/31/3，求该信道容量。该信道可用图36表示，可明显看出具有对称DMC信道特征，信道转移概率矩阵为

P=01/31/31/30…0001/31/31/30…︙︙1/31/31/30…0


利用式(323)或式(325)，均可求出该信道的容量为C=logK-log3。



在实际通信系统中，信号往往要通过几个环节的传输，或多步处理，这些传输和处理都可看作信道，它们串接成一个串联信道，如图37所示。由2.2.4节中的信息不增性可得

H(X)≥I(X;Y)≥I(X;Z)≥I(X;W)…


则

C(1,2)=max I(X;Z)，C(1,2,3)=max I(X;W)…


可以直观地看出，串接的信道越多，其信道容量可能越小，当串接信道数无限大时，信道容量可能趋于零。




图36对称DMC信道




图37串联信道



例34设有两个离散BSC信道，串接如图38所示，两个BSC信道的转移矩阵为

P1=P2=1-εεε1-ε


则串联信道的转移矩阵为

P=P1P2=1-εεε1-ε1-εεε1-ε=121+(1-2ε)21-(1-2ε)21-(1-2ε)21+(1-2ε)2


可以求得I(X;Y)=1-H(ε)，I(X;Z)=1-H［1-(1-2ε)2］。图39是串联信道的互信息，m为串接个数，m=1即为I(X;Y)，m=2即为I(X;Z)。

如果有N个相同的BSC信道串联，其转移概率矩阵为P=PN1。通过正交变换可将P1分解为

P1=L-11001-2εL,L=2211-11





图38两个离散BSC信道串联




图39m个BSC串联信道的互信息





所以

P=PN1=L-11001-2εNL=L-1100(1-2ε)NL
=121+(1-2ε)N1-(1-2ε)N1-(1-2ε)N1+(1-2ε)N


于是，串联信道的容量为

CN=1-H1-(1-2ε)N2


只要ε≠0，当N趋于无穷大时，P∞1=limN→∞PN1=1/21/21/21/2，信道的容量为limN→∞CN=1-H(1/2)=0。


3.2.3准对称离散无记忆信道

如果转移概率矩阵P输入对称而输出不对称，即转移概率矩阵P的每行都包含同样的元素而每列的元素不同，则称该信道是准对称DMC信道。例如，矩阵

P1=1/31/31/61/61/61/31/61/3，P2=0.70.10.20.20.10.7


都是准对称DMC信道。

由于转移概率矩阵中每行的元素相同，所以式(321)成立。但每列的元素不同，所以信道的输入和输出分布概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因而准对称DMC信道的容量

C≤logm+∑mj=1pijlogpij(326)


因为互信息是输入符号概率的U形凸函数，根据信道容量的定义式(3113)和式(322)，可引入拉格朗日乘子法解极值问题，求得输入符号概率和最大互信息。

例35已知一个信道的信道转移矩阵为P=0.50.30.20.30.50.2，求该信道容量。

解： 由P可看出，信道的输入符号有两个，可设p(a1)=α，p(a2)=1-α。信道的输出符号有三个，用b1、b2、b3表示。由p(ai,bj)=p(ai)p(bj|ai)得联合概率的矩阵

0.5α0.3α0.2α0.3(1-α)0.5(1-α)0.2(1-α)


由p(bj)=∑ip(ai,bj)得

p(b1)=0.5α+0.3(1-α)=0.3+0.2αp(b2)=0.3α+0.5(1-α)=0.5-0.2αp(b3)=0.2α+0.2(1-α)=0.2


其中，p(b3)恒定，与ai的分布无关。

I(X;Y)=H(Y)-H(Y|X)
=-∑jp(bj)lnp(bj)+∑ip(ai)∑jp(bj|ai)lnp(bj|ai)
=-(0.3+0.2α)ln(0.3+0.2α)-(0.5-0.2α)ln(0.5-0.2α)
-0.2ln0.2+0.2ln0.2+0.5ln0.5+0.3ln0.3


由I(X;Y)α=0得0.2ln(0.3+0.2α)-0.2+0.2ln(0.5-0.2α)+0.2=0


解得α=1/2，即输入符号分布等概率时，I(X;Y)达到极大值，所以信道容量为

C=max I(X;Y)=0.036bit/符号


此时输出符号的概率为p(b1)=p(b2)=0.4，p(b3)=0.2。

事实上该信道是二元对称删除信道，当p(a1)=p(a2)=1/2时，可达到信道容量C=max I(X;Y)，因为P(b3)恒定为0.2，则b1、b2应等概率分布，即p(b1)=p(b2)=(1-0.2)/2=0.4。■

另外，可用矩阵分解的方法求准对称信道的容量，将转移概率矩阵划分为若干个互不相交的对称的子集，如

P1=1/31/31/61/61/61/31/61/3可分解为1/31/61/61/3,1/31/3,1/61/6 
P2=0.70.10.20.20.10.7可分解为0.70.20.20.7,0.10.1


可以证明，当输入分布等概率时，达到信道容量为

C=logn-H(p′1,p′2,…p′s)-∑rk=1NklogMk(327)


式中，n是输入符号集的个数； p′1，p′2，…p′s是转移概率矩阵P中一行的元素，即H(p′1，p′2，…p′s)=H(Y|ai)； Nk是第k个子矩阵中行元素之和，Nk=∑jp(bj|ai)； Mk是第k个子矩阵中列元素之和，Mk=∑ip(bj|ai)； r是互不相交的子集个数。证明从略。

例36用矩阵分解的方法求例35中信道的容量。

解： 对P=0.50.30.20.30.50.2进行分解得0.50.30.30.5,0.20.2，利用式(327)求容量。式中n=2，N1=0.5+0.3=0.8，M1=0.5+0.3=0.8，N2=0.2，M2=0.2+0.2=0.4，r=2，所以

C=log22-H(0.5,0.3,0.2)-0.8log20.8-0.2log20.4=0.036bit/符号


与上述结果一致。

例37用矩阵分解的方法求P1=1/31/31/61/61/61/31/61/3的容量。

解： 根据上面对P1的分解，利用式(327)可得

C=log22-H(1/3,1/3,1/6,1/6)-(1/3+1/6)log2(1/3+1/6)
-1/3log2(1/3+1/3)-1/6log2(1/6+1/6)
≈0.041bit/符号


3.2.4一般离散无记忆信道

以输入符号概率矢量Px为自变量求函数I(Px)极大值（信道容量）的问题，从数学上看是一个规划问题，这个问题已经解决。目前常用的方法是1972年由Blahut和Arimoto分别独立提出的一种算法，现在称为BlahutArimoto算法。一般地说，为使I(X;Y)最大化以便求取DMC容量，输入符号概率集{p(ai)}必须满足的充分和必要条件是

I(ai;Y)=C对于所有满足p(ai)>0条件的i
I(ai;Y)≤C对于所有满足p(ai)=0条件的i(328)


上式表明，当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中的每个符号ai（概率为零的符号除外）向输出端Y提供相同的互信息。

可以直观地理解，在某种给定的输入符号分布下，若其中有一个输入符号x=ai向输出Y提供的平均互信息I(ai;Y)比其他输入符号提供的大，就可以更多地使用这一符号，即增大ai出现的概率p(x=ai)，使加权平均后的I(X;Y)=∑ip(ai)I(ai;Y)增大。但是，这会改变输入符号的分布，使该符号的平均互信息I(ai;Y)=∑jp(bi|aj)logp(ai|bj)p(ai)减小，而其他符号对应的互信息增大。所以应不断调整输入符号的概率分布，最终使每个概率不为零的输入符号向输出Y提供的平均互信息相同。

该结论只给出了达到信道容量C时输入符号概率p(ai)分布的充要条件，并未给出具体值，所以没有具体求C的公式。一般情况下，最佳分布不一定是唯一的，只需满足结论式(328)，并使互信息最大即可。



图310例38的离散信道

例38如图310所示，离散信道的输入符号集为{a1,a2,a3,a4,a5}，输出符号集为{b1,b2}。信道矩阵为

P=101012120101


求信道容量和最佳输入符号分布概率。

解： 由于输入符号a3传递到b1和b2是等概率的，所以a3可以省去，即p(a3)=0。

对于其余输入符号，一种可取的方法是使其概率均匀分布，即p(a1)=p(a2)=p(a4)=p(a5)=1/4，可计算得p(b1)=p(b2)=1/2，按公式

I(ai;Y)=∑jp(bj|ai)logp(bj|ai)p(bj)(329)


计算得

I(a1;Y)=I(a2;Y)=I(a4;Y)=I(a5;Y)=log2
I(a3;Y)=0


显然该结果满足式(328)的要求，得到信道容量C=log2=1bit/符号。

另一种可取的方法是，由于a1和a2均以概率值1传递到b1，因为p(bj|a1)=p(bj|a2),j=1,2，所以I(a1;Y)=I(a2;Y)。同理，由于a4和a5均以概率值1传递到b2，所以I(a4;Y)=I(a5;Y)。因此可只取a1和a5，即输入符号的概率分布为p(a1)=p(a5)=1/2，p(a2)=p(a3)=p(a4)=0。也可算出

p(b1)=p(b2)=1/2
I(a1;Y)=I(a2;Y)=I(a4;Y)=I(a5;Y)=log2
I(a3;Y)=0


此假设分布也满足式(328)的要求，因此信道容量同样为C=log2=1bit/符号。

以上两种分布均为最佳输入概率分布，当然还可以找到该信道其他最佳输入概率分布。可见，该信道的最佳输入概率分布不是唯一的。由式(329)可知，互信息I(ai;Y)仅与信道转移概率及输出概率分布有关，因而达到信道容量的输入概率分布不是唯一的，但输出概率分布是唯一的。

3．3离散序列信道及其容量

前面讨论的信道输入输出均为单个符号的随机变量，然而在实际应用中，信道的输入和输出却是在空间或时间上离散的随机序列，包括无记忆的离散序列信道，当然更多的是有记忆的，即序列的转移概率之间有关联性。离散序列信道模型如图311所示。



图311离散序列信道模型


对于无记忆离散序列信道，其信道转移概率为

p(Y|X)=p(Y1,…,YL|X1,…,XL)=∏Ll=1p(Yl|Xl)(331)


即仅与当前输入有关。若信道是平稳的，则p(Y|X)=pL(y|x)。

根据平均互信息的定义

I(X;Y)=H(XL)-H(XL|YL)=∑p(X,Y)logp(X|Y)p(X)
=H(YL)-H(YL|XL)=∑p(X,Y)logp(Y|X)p(Y)


可以证明(本书从略，见参考文献［5］)，该互信息有两个性质： 一是如果信道无记忆，则

I(X;Y)≤∑Ll=1I(Xl;Yl)(332)


二是如果输入矢量X中的各个分量相互独立，则

I(X;Y)≥∑Ll=1I(Xl;Yl)(333)


如果输入矢量X独立且信道无记忆，则上述两个性质实现统一，取等号。当输入矢量达到最佳分布时

CL=maxPX I(X;Y)=maxPX∑Ll=1I(Xl;Yl)=∑Ll=1maxPX I(Xl;Yl)=∑Ll=1C(l)(334)


当信道平稳时，CL=LC1。一般情况下，I(X;Y)≤LC1。

最典型的无记忆离散序列信道是扩展信道，与2.1.1节中所述L次扩展信源类似，如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道。信道输入序列为X=XL，信道输出序列为Y=YL，信道的序列转移概率为p(Y|X)=∏Ll=1p(Yl|Xl)。


例39对图31中的BSC信道进行二次扩展，扩展后的信道如图312所示，X∈{00,01,10,11}，Y∈{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00|00)=p(0|0)p(0|0)=(1-p)2，p(01|00)=p(0|0)p(1|0)=p(1-p)，p(10|00)=p(1|0)p(0|0)=p(1-p)，p(11|00)=p(1|0)p(1|0)=p2。同理可求得其他转移概率，则转移概率矩阵为

P=(1-p)2p(1-p)p(1-p)p2p(1-p)(1-p)2p2p(1-p)p(1-p)p2(1-p)2p(1-p)p2p(1-p)p(1-p)(1-p)2


由此可看出，这是一个对称DMC信道，当输入序列等概率分布时，根据式(324)信道容量为

C2=log24-H［(1-p)2,p(1-p),p(1-p),p2］


若p=0.1，则C2=2-0.938=1.062bit/序列。

而p=0.1时BSC单符号信道的容量为C1=1-H(0.1)=0.531bit/符号，C2正好是C1的两倍。■

如果将L个相互独立的信道并联，每个信道的输出Yl只与本信道的输入Xl有关，如图313所示。此时序列的转移概率p(Y1,Y2,…,YL|X1,X2,…,XL)=p(Y1|X1)p(Y2|X2)…p(YL|XL)，也是无记忆序列信道，所以I(X;Y)≤∑Ll=1I(Xl;Yl)，即联合平均互信息不大于各自信道平均互信息之和。独立并联信道的容量




图312BSC的二次扩展信道




图313独立并联信道




C12…L=maxI(X;Y)≤∑Ll=1Cl


只有当输入符号Xl相互独立，且p(X1,X2,…,XL)达到最佳分布时，信道容量最大，为各自信道容量之和。

有记忆的离散序列信道比无记忆的复杂得多，至今没有有效的求解方法。在特定情况下，例如，平稳有限记忆信道可引入状态的概念，采用状态变量来分析。本书不作介绍。

3．4连续信道及其容量

正如2.4节所述，在连续信源情况下，取两个微分熵之差时具有与离散信源一样的信息特征。互信息即两熵之差，互信息的最大值就是信道容量。因而连续信道具有与离散信道类似的信息传输率和信道容量表达式。下面介绍的都是加性噪声信道。

3.4.1连续单符号加性信道

最简单、最常见的是幅度连续的单符号信道，如图314所示。信道的输入和输出都是幅度连续的一维随机变量，


图314连续单符号信道


加入信道的噪声是均值为零、方差为σ2的加性高斯噪声，概率密度函数记作pn(n)=N(0,σ2)。根据2.4.3节所述，该噪声的微分熵为Hc(n)=12log2πeσ2。

单符号连续信道的平均互信息为I(X;Y)=Hc(X)-Hc(X|Y)=Hc(Y)-Hc(Y|X)=Hc(X)+Hc(Y)-Hc(X,Y)，信息传输率为R=I(X;Y)。信道容量为

C=maxp(x)I(X;Y)=maxp(x)［Hc(Y)-Hc(Y|X)］


据式(3111) 

C=maxp(x)Hc(Y)-Hc(n)=maxp(x)Hc(Y)-12log2πeσ2(341)


要求式(341)第一项最大，由2.4.3节限平均功率最大熵定理，只有当信道输出Y服从正态分布时熵最大，其概率密度函数pY(y)=N(0,P)，其中P为Y的平均功率限制值。由于信道输入X与噪声统计独立，且y=x+n，所以其功率可以相加，P=S+σ2，S为信道输入X的平均功率。

因为pY(y)=N(0,P)，pn(n)=N(0,σ2)，y=x+n，所以pX(x)=N(0,S)，即当信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值

C=12log2πeP-12log2πeσ2=12logPσ2=12log1+Sσ2(342)


式中，S/σ2是输入信号功率与噪声功率之比，常称作信噪比，用SNR表示，则C=1/2log(1+SNR)。可见，信道容量仅取决于信道的信噪比。

值得注意的是，这里研究的信道只存在加性噪声，而对输入功率没有损耗。但在实际通信系统中，几乎都存在大小不等的功率损耗，也称信道衰落，所以计算时输入信号的功率S应为经过损耗后的功率。例如，信道损耗为|H(ejω)|2(或|h(n)|2)，输入功率为S，则式(342)中的信号功率应为S|H(ejω)|2(或S|h(n)|2)。

另外，在很多实际系统中噪声并不是高斯噪声，但若是加性噪声，可以求出信道容量的上下界。若为乘性噪声，则很难分析。对于加性均值为零、平均功率为σ2的非高斯噪声信道，其信道容量有下列上下界： 

12log1+Sσ2≤C≤12log2πeP-Hc(n)(343)


式中，Hc(n)为噪声熵，P为输出信号的功率，P=S+σ2。这里不作证明，仅说明物理意义。先看式（343）的右边，第一项12log2πeP是均值为零、方差为P的高斯信号的熵，由于噪声n是非高斯噪声，如果输入信号X的分布能使x+n=y呈高斯分布，则Hc(Y)达到最大值，此时信道容量达到上限值12log2πeP-Hc(n)，而一般情况下，信道容量小于该上限值； 再看式(343)的左边，可写成12log2πeP-12log2πeσ2，第二项12log2πeσ2是均值为零、方差为σ2的高斯噪声的熵，它为平均功率受限σ2时的最大值，即噪声熵考虑的是最坏情况，所以是信道容量的下限值。

式(343)表明，在平均功率同样受限的情况下，非高斯噪声信道的容量大于高斯噪声信道的容量，所以在处理实际问题时，通常采用计算高斯噪声信道容量的方法保守地估计容量，且高斯噪声信道容量容易计算。

3.4.2多维无记忆加性连续信道

信道输入随机序列X=（X1,X2,…,XL），输出随机序列Y=（Y1,Y2,…,YL），加性信道有y=x+n，其中n=（n1,n2,…,nL）是均值为零的高斯噪声，表示各单元时刻1,2,…,L上的噪声，如图315所示。





图315多维无记忆加性连续信道等价于L个独立并联加性信道



由于信道无记忆，所以有p(y|x)=∏Ll=1p(yl|xl)，加性信道中噪声随机序列的各时刻分量是统计独立的，即pn(n)=∏Ll=1pn(nl)，各分量都是均值为零、方差为σ2l的高斯变量。所以多维无记忆高斯加性连续信道就可等价为L个独立的并联高斯加性信道。

由式(332)可得

I(X;Y)≤∑Ll=1I(XL;YL)=∑Ll=112log1+Plσ2l


则C=maxp(x) I(X;Y)=∑Ll=112log1+Plσ2lbit/L维自由度(344)

式中，σ2l是第l个单元时刻高斯噪声的方差，均值为零。因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量。式(344)既是多维无记忆高斯加性连续信道的信道容量，也是L个独立并联高斯加性信道的信道容量。下面进行讨论。

(1) 当各单元时刻上的噪声都是均值为零、方差相同为σ2的高斯噪声时，由式(344)得

C=L2log1+Sσ2bit/L维自由度(345)


当且仅当输入矢量X的各分量统计独立，都是均值为零、方差相同为S的高斯变量时，信道中传输的信息率达到最大。

(2) 当各单元时刻L个高斯噪声均值为零，但方差不同且为σ2l时，若输入信号的总平均功率受限，约束条件为

E∑Ll=1X2l=∑Ll=1E［X2l］=∑Ll=1Pl=P(346)


则此时各单元时刻的信号平均功率应合理分配，才能使信道容量最大。也就是需要在式(346)的约束条件下，求式(344)中Pl的分布。这是一个标准的求极大值的问题，采用拉格朗日乘子法计算。

作辅助函数f(P1,P2,…,PL)=∑Ll=112log1+Plσ2l+λ∑Ll=1Pl

令

f(P1,P2,…,PL)Pl=0,l=1,2,…,L

解得

121Pl+σ2l+λ=0,l=1,2,…,L

即

Pl+σ2l=-12λ,l=1,2,…,L(347)


上式表示各单元时刻输入信号平均功率与噪声功率之和，即各个时刻的信道输出功率相等，设为常数ν，则

ν=P+∑lσ2lL


则各单元时刻输入信号平均功率为

Pl=ν-σ2l=P+∑Li=1σ2iL-σ2l，l=1,2,…,L(348)



此时信道容量C=12∑Ll=1logP+∑Li=1σ2iLσ2l。



图316注水法功率分配

但是，如果某些单元时刻的噪声σ2l太大，大于常数ν，使式(348)中Pl出现负值，说明这些时刻的信道质量太差，无法使用，必须置Pl=0，
不分配功率，予以关闭。然后重新调整信号功率分配，直至Pl不出现负值。这就是著名的“注水法”(waterfilling)原理，示意如图316所示。将各单元时刻或并联信道看作用于盛水的容器，将信号功率看作水，向容器中倒水，最后的水平面是平的，每个子信道中装的水量就是分配的信号功率。这时信道容量为

C=12∑llog1+Plσ2l,∑lPl=P,Pl≥0


例310有一并联高斯加性信道，各子信道噪声方差为σ21=0.1，σ22=0.2，σ23=0.3，σ24=0.4，σ25=0.5，σ26=0.6，σ27=0.7，σ28=0.8，σ29=0.9，σ210=1.0。

(1) 若输入的信号总功率P=5，则平均输出功率ν=P+∑lσ2lL=1.05，因为该值大于所有子信道的噪声功率σ2l，所以各子信道分配的功率分别为0.95，0.85，0.75，0.65，0.55，0.45，0.35，0.25，0.15，0.05。总的信道容量C=6.1bit/10维自由度。

(2) 若输入的信号总功率P=1，则平均输出功率ν=P+∑10l=1σ2lL=0.65，该值小于最后4个子信道的噪声功率，关闭这4个子信道，即P10=0，P9=0，P8=0，P7=0； 重新计算平均输出功率ν=P+∑6l=1σ2lL=0.517，关闭第6个子信道，P6=0； 再计算平均输出功率ν=P+∑5l=1σ2lL=0.5，此时其他子信道分配的功率： P5=0，P4=0.1，P3=0.2，P2=0.3，P1=0.4，实际只有前4个子信道可用。总的信道容量C=2.4bit/10维自由度。

从上述例子可知，噪声小的子信道分配的输入功率大，信噪比大，抵抗噪声的能力强，可以传输的比特数多，需要采用更高进制的符号调制方法，以提高信道的频带利用率； 反之，噪声大的子信道分配的功率小，信噪比小，可以传输的比特数少。最终使每个子信道的误码率相同。试想如果某个子信道的误码率低，就可以多分配功率(或比特)，这样调制时需要更高进制，使抵抗噪声的能力下降，误码率提高，最终必然导致每个子信道的误码率相等。

还有一些并联的高斯信道，各噪声之间是有依赖的，相当于有记忆的高斯加性信道，各单元时刻上的噪声不是统计独立的，分析这样的信道很复杂，本书不再讨论。

3.4.3限时限频限功率加性高斯白噪声信道

波形信道中，在限时tB、限频fm条件下可转化为多维连续信道，将输入随机过程{x(t)}、输出随机过程{y(t)}转化为L维随机序列X=（X1,X2,…,XL）和Y=（Y1,Y2,…,YL），因而可得波形信道的平均互信息为

I［x(t);y(t)］=limL→∞I(X;Y)
=limL→∞［Hc(X)-Hc(X|Y)］
=limL→∞［Hc(Y)-Hc(Y|X)］
=limL→∞［Hc(X)+Hc(Y)-Hc(X,Y)］


一般情况下，波形信道都是研究单位时间内的信息传输率Rt，即

Rt=limtB→∞1tBI(X;Y)bit/s


信道容量为

Ct=maxp(x)limtB→∞1tBI(X;Y)bit/s


加性高斯白噪声（AWGN）波形信道是经常假设的一种信道，加入信道的噪声是限带的加性高斯白噪声{n(t)}，其均值为零，功率谱密度为N0/2。因为一般信道的频带宽度总是受限的，设其为W(|f|≤W)，而低频限带高斯白噪声的各样本值彼此统计独立，所以限频高斯白噪声过程可分解为L维统计独立的随机序列，在［0，tB］时刻内，L=2WtB。这是多维无记忆高斯加性信道，根据式(344)信道容量为

C=12∑Ll=1log1+Plσ2l


式中，σ2l是各噪声分量的功率，σ2l=Pn=N02×2W×tB/2WtB=N02。Pl是各输入信号样本值的平均功率，设信号的平均功率受限于PS，则Pl=PStB/2WtB=PS2W。信道的容量为

C=L2log1+PS2WN02=L2log1+PSN0W
=WtBlog1+PSN0Wbit/L维(349)


要使信道传送的信息达到信道容量，必须使输入信号{x(t)}具有均值为零、平均功率PS的高斯白噪声特性。不然，传送的信息率将低于信道容量，信道得不到充分利用。

加性高斯白噪声信道单位时间的信道容量

Ct=limtB→∞CtB=Wlog1+PSN0Wbit/s(3410)


式中，PS为信号的平均功率，N0W为高斯白噪声在带宽W内的平均功率(功率谱密度为N0/2)。可见，信道容量与信噪功率比和带宽有关。

这就是重要的香农公式。当信道的频带受限于W(单位Hz)时，信道噪声为加性高斯白噪声，功率谱密度为N0/2，噪声功率为N0W，输入信号的平均功率受限于PS，信道的信噪功率比SNR=PS/N0W，则当信道输入信号是平均功率受限的高斯白噪声信号时，信道中的信息传输率可以达到式(3410)的信道容量。它是高斯噪声信道中实现可靠通信的信息传输速率的上限值。

而常用的实际信道一般为非高斯噪声波形信道，类似3.4.1节所述，其噪声熵比高斯噪声的小，信道容量以加性高斯信道的信道容量为下限值。所以香农公式也适用于其他一般非高斯波形信道，由香农公式得到的值是其信道容量的下限值。

下面对式(3410)的香农公式作深入讨论，介绍增加信道容量的途径。

(1) 当带宽W一定时，信噪比SNR与信道容量Ct成对数关系，如图317所示，SNR增大，Ct就增大，但增大到一定程度后就趋于缓慢。说明增加输入信号功率有助于容量的增加，但该方法是有限的。此外，降低噪声功率也是有用的，当N0→0时，Ct→∞，即无噪声信道的容量为无穷大。

(2) 当输入信号功率PS一定时，增加信道带宽，容量会增加，但到一定阶段后增加变缓，因为当噪声为加性高斯白噪声时，随着W的增加，噪声功率N0W也在增加。当W→∞时，Ct→C∞，利用关系式ln(1+x)≈x(x很小时)可求出C∞值，即

C∞=limW→∞Ct=limW→∞PSN0WN0PSlog1+PSN0W=limx→0PSN0log(1+x)1/x
=limx→0PSN0ln2ln(1+x)1/x=PSN0ln2bit/s


该式表明，即使带宽无限，信道容量也是有限的。当C∞=1bit/s，PS/N0=ln2=-1.6dB，即带宽不受限制时，传送1bit信息，信噪比最低只需-1.6dB，这就是香农限，是加性高斯噪声信道信息传输率的极限值，是一切编码方式所能达到的理论极限。在实际应用中，若要保证可靠通信，信噪比往往比这个值大得多。

Ct/W=log(1+SNR)（bps/Hz），单位频带的信息传输率也称频带利用率，该值越大，信道利用越充分。当Ct/W=1bps/Hz时，SNR=1(0dB)； 当Ct/W→0时，SNR=-1.6dB，此时信道完全丧失通信能力，如图318所示。




图317信道容量与信噪比的关系



图318频带利用率与信噪比的关系



(3) 当Ct一定时，带宽W增大，信噪比SNR降低，即两者是可以互换的。若有较大的传输带宽，则在保持信号功率不变的情况下，可容许较大的噪声，即系统的抗噪声能力增强。无线通信中的扩频系统就是利用了这个原理，将所需传送的信号扩频，使之远大于原始信号带宽，以增强抗干扰能力。

例311电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR=100，运用香农公式，该信道的容量为Ct=Wlog(1+SNR)=3.3log(1+100)=22Kbit/s。而实际信道达到的最大信道传输率为19.2Kbit/s，那是考虑了串音、回波等干扰因素，所以比理论计算值小。

3．5多输入多输出信道及其容量

3.3节介绍的独立并联信道中，每个信道的输出只与本信道的输入有关，与其他信道的输入无关，所以可简单地看作若干平行信道。本节要介绍的多输入多输出(multiinput multioutput，MIMO)信道模型如图319所示，每个信道输出都与M个信道输入信号有关，是由M个信道输入信号经各自路径传输后与噪声的线性叠加。在无线通信中，由多个发射天线和多个接收天线组成的通信系统就属于这种信道类型。无线MIMO技术利用多天线提供有效的发射分集和接收分集，在不增加系统带宽和天线发射总功率的情况下，可有效对抗无线信道衰落的影响，大大提高系统的频谱利用率和信道容量。多天线无线通信是当前通信领域的研究热点。



图319MIMO信道模型


3.5.1MIMO信道模型

如图319所示，M个子流由M个天线发射出去，经空间信道后由N个接收天线接收，N个接收信号在频域表示为

y1=h11x1+h12x2+…+h1MxM+n1y2=h21x1+h22x2+…+h2MxM+n2︙yN=hN1x1+hN2x2+…+hNMxM+nN


用矩阵表示为

y=Hx+n(351)


式中，x=(x1,x2,…,xM)T表示发送信号复矢量，信号xj为零均值i.i.d高斯变量，发送信号的协方差矩阵为

Rxx=E{xx}


式中，表示复矩阵的共轭转置。不管发送天线数M多大，总的发送功率约束为PT，即PT=tr(Rxx)，tr(·)表示求矩阵的迹(trace)，由对角线元素之和求得。假设发送方未知信道状态信息(channel state information,CSI)，则每根天线发送相同的信号功率PT/M，发送信号的协方差矩阵为Rxx=PTMIM，其中IM为M×M单位矩阵。


信道矩阵H为N×M复矩阵，H=h11…h1M︙hij︙hN1…hNM，H中的第ij分量hij表示第j根发送天线至第i根接收天线的信道衰落复数系数。从归一化的目的出发，假定N根接收天线中每根的接收功率均等于总的发送功率(忽略传播过程中信号的衰减、放大、阴影和天线增益等)，于是对于给定系数的信道，H中每个元素的归一化约束为∑Mj=1|hij|2=M, i=1,2,…,N。当信道矩阵元素为复数随机变量时，可对上述表达式的期望值进行归一化。在无线移动通信中，散射多径分量极为丰富，在不存在视线传播途径时，hij可表示为复高斯随机变量。它的实部和虚部彼此独立，都是均值为零、方差为1/2的高斯分布N(0,1/2)，也可以将hij分布记为复高斯分布Nc(0,1)。hij的幅度是瑞利分布，相位服从均匀分布。

接收端的噪声用N×1列复向量矩阵n表示，n=(n1,n2,…,nN)T，其各分量ni为互相统计独立的零均值高斯变量，具有独立、相等方差的实部和虚部N(0,σ2/2)，即ni~Nc(0,σ2)。噪声协方差阵为Rnn=E{nn}，若n的分量间不相关，Rnn=σ2IN，N个接收支路具有相等的噪声功率σ2，每根接收天线输出端的信号功率为PT，故接收功率信噪比为ρ=PTσ2。


3.5.2MIMO信道容量

在单天线系统信道容量研究的基础上，Telatar和Foschini首先对白高斯噪声下的MIMO系统的信道容量进行了研究，在假设各天线互相独立的条件下，多天线系统的信道容量比单天线系统有显著的增加。考虑M根发送天线、N根接收天线的无线传输系统，在接收端已确知信道传输特性的情况下，Foschini的研究表明，当M=N时可得到与M成比例增加的信道容量。因此，多天线系统具有良好的抗衰落和抗噪声性能。

目前关于MIMO信道容量的主要结论性成果如下。

（1）  接收端已知信道转移矩阵H，其值固定，但如果发送端未知信道状态信息(CSI)，则最优方案是等功率发送，即将总发送功率PT均匀分布到各发送天线单元。此时MIMO信道容量的通用公式为

C=log detIN+ρMHH(352)


获得此容量的发送信号为循环对称复高斯随机向量。式中det表示求行列式，IN为N阶单位矩阵。

如果发送端已知信道状态信息，则可运用注水法先将总发送功率分配到各个发送天线，再利用容量公式计算。

（2）  接收端已知信道状态信息，但信道转移矩阵H是复随机变量，满足循环对称性质。此时MIMO信道的平均信道容量(也称遍历容量)为

Cavg=EHlogdetIN+ρMHH(353)


式(353)中的积分运算包含了非线性对数函数的积分，计算困难，且只能通过数值仿真的方法计算。一般来说，上式中的HH都满足χ2分布随机变量的统计特征。故当收、发天线数相等，即M=N时，采用卡方变量，MIMO信道容量的下限可表示为

C>∑Nk=1log1+ρNχ22k(354)


式中，χ22k表示自由度为2k的卡方变量，因为矩阵H各分量均是均值为0、方差为1的复数，所以χ22k的均值为k。

（3）  当M很大时，可利用大数定理

HHM→∞MIN


于是C→Nlog（1+ρ)

同样HHN→∞NIM

C→Mlog1+NMρ


在相同的发射功率和带宽条件下，M根发送天线、N根接收天线的MIMO信道容量近似于min(N,M)倍单收单发(SISO)天线系统的信道容量： 

C=［min(M,N)］Blogρ2(355)


其中，B为信号带宽。式(355)表明，当功率和带宽固定时，MIMO系统的最大容量或容量上限随最小天线数的增加而线性增加。而在同样条件下，在接收端或发射端采用多天线或天线阵列的普通智能天线系统，其容量仅随天线数对数的增加而增加。相对而言，MIMO对于增加无线通信系统的容量具有极大的潜力。

3．6信源与信道的匹配


信源发出的消息(符号)一般通过信道传输，因此要求信源的输出与信道的输入匹配。

(1) 符号匹配： 信源输出的符号必须是信道能够传送的符号，即要求信源符号集为信道的入口符号集或入口符号集的子集，这是实现信息传输的必要条件，可通过在信源与信道之间加入编码器实现，也可以在信源压缩编码时一步完成。

(2) 信息匹配： 对于某一信道，只有当输入符号的概率分布p(x)满足一定条件时才能达到其信道容量C。也就是说，只有特定的信源才能使某一信道的信息传输率达到最大。一般情况下，当信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大，即信道没有得到充分利用。当信源与信道连接时，若信息传输率达到信道容量，则称此信源与信道实现匹配。否则认为信道有冗余。将信道冗余度定义为

信道绝对冗余度=C-I(X;Y)(361)


其中，C是该信道的信道容量，I(X;Y)是信源通过该信道实际传输的平均信息量。

信道相对冗余度=1-I(X;Y)C(362)


冗余度大，说明信源与信道(信息)的匹配程度低，信道的信息传递能力未得到充分利用； 冗余度小，说明信源与信道(信息)的匹配程度高，信道的信息传递能力得到较充分的利用； 冗余度为零，说明信源与信道(信息)完全匹配，信道的信息传递能力得到完全利用。一般来说，实际信源的概率分布未必是信道的最佳输入分布，所以I(X;Y)≤C，冗余度不为零。因此，要求信源与信道实现信息的完全匹配是不可能的，只要信道冗余度较小就可以。

所以，对信源输出的符号进行信源编码可以达到两个目的： 一是将信源符号变换为信道能够传输的符号，即符号匹配； 二是变换后的符号分布概率能使信息传输率接近信道容量，即信息匹配。从而使信道冗余度接近零，信源与信道实现匹配，信道得到充分利用。

例312某离散无记忆信源，输出符号的概率分布如表31所示。该信源的信息熵为H(X)=1.75bit/信源符号。通过一个无噪无损二元离散信道进行传输，二元离散信道的信道容量为C=1bit/信道符号。根据符号匹配，必须对信源X进行二元编码，才能使信源符号在此二元信道中传输。进行二元编码的结果可有多种，表31中列出了C1、C2两种。


表31信源输出符号概率分布和编码




编码
x1
x2
x3
x4
p(xi)1/21/41/81/8
C100011011
C2000001010011




扩频通信

从表31中可见，码C1中每个信源符号需用2个二元符号，信道的信息传输率R1=H(X)/2=0.875bit/信道符号； 而码C2中需用3个二元符号，R2=H(X)/3=0.583bit/信道符号。信息传输率R即为信道传输率I(X;Y)，这时，R2<R1<C，信道有冗余。那么，是否存在一种信源编码，使信道的信息传输率R接近或等于信道容量C呢？也就是说，是否存在一种编码，使每个信源符号所需的二元符号最少呢？这就是信源编码理论，也就是数据压缩理论讨论的问题。


本章小结


本章从信道的分类及其描述出发，对各种信道的信息传输速率和信道容量等信道特性进行了介绍，其中对信道容量的分析为充分利用信道的信息传输能力提供了理论依据，对实际通信系统的设计具有重要的理论指导意义。

对于固定参数信道，通常采用条件概率p(Y|X)描述信道输入、输出信号之间统计的依赖关系，也称为转移概率，其信道容量是固定值； 对于时变参数信道，信道容量是随机变量，通常用平均容量(遍历容量)和中断容量表示。

信道容量： C=maxp(ai) I(X;Y)，选择信源概率分布p(ai)使I(X;Y)达到最大。

无噪无损信道： C=I(X;Y)=H(X)=H(Y)=logn

无噪有损(确定)信道：  C=max I(X;Y)=max H(Y)

有噪无损信道：  C=max I(X;Y)=max H(X)

二元对称信道： C=1-H(p)

对称DMC信道： C=logm-H(Y|ai)=logm+∑mj=1pijlogpij

准对称DMC信道： C=logn-H(p′1,p′2,…，p′s)-∑rk=1NklogMk

独立且无记忆信道： CL=maxPX I(X;Y)=maxPX∑Ll=1I(Xl;Yl)=∑Ll=1maxPX I(Xl;Yl)=∑Ll=1C(l)

独立并联信道： C1,2,…,L=max I(X;Y)≤∑Ll=1Cl

限时限频限功率加性高斯白噪声信道(香农公式)： Ct=limtB→∞CtB=Wlog1+PSN0Wbit/s

当带宽不受限制时，传送1bit信息，信噪比最低只需-1.6dB，这就是香农限。

MIMO信道： C=log detIN+ρMHH

习题

31设二进制对称信道的概率转移矩阵为2/31/31/32/3。

(1) 若p(x0)=3/4，p(x1)=1/4，求H(X)、H(X|Y)、H(Y|X)和I(X；Y)。

(2) 求该信道的信道容量及其达到信道容量时的输入符号概率分布。

(3) 求(1)中信道的绝对冗余度和相对冗余度。

32某信源发送端有2种符号，xi，i=1,2，p(x1)=a，每秒发出一个符号。接收端有3种符号(yj，j=1,2,3)，转移概率矩阵为P=1/21/201/21/41/4。



(1) 计算接收端的平均不确定度。




图320习题34图

(2) 计算噪声产生的不确定度H(Y|X)。

(3) 计算信道容量。

33在有扰离散信道上传输符号1和0，在传输过程中每传输100个符号发生一个错传符号。已知p(0)=1/2，p(1)=1/2，信道每秒内允许传输1000个符号。求此信道的信道容量。

34求图320中信道的信道容量及其最佳输入概率分布，并求当ε=0和1/2时的信道容量。

35求下列两个信道的容量，当0≤ε<1/2时，比较两信道容量值。

(1) 1-p-εp-ε2εp-ε1-p-ε2ε



(2) 1-p-εp-ε2ε0p-ε1-p-ε02ε

36设有扰离散信道的传输情况如图321所示，求该信道的信道容量。

37已知二元有噪和删除信道如图322所示。

(1) 求该信道容量。

(2) 当ε=0时为删除信道，求其容量。

(3) 当ρ=0时为二元对称信道，求其容量。

(4) 对比分析ε=0.125时的二元对称信道和ρ=0.5时的删除信道，哪个更好？




图321习题36图




图322习题37图



38发送端有3种等概符号(x1,x2,x3)，p(xi)=1/3，接收端收到3种符号(y1,y2,y3)，信道转移概率矩阵为

P=0.50.30.20.40.30.30.10.90


(1) 计算接收端收到一种符号后得到的信息量H(Y)。

(2) 计算噪声熵H(Y|X)。

(3) 计算接收端收到一种符号y2的错误概率。

(4) 计算从接收端看的平均错误概率。

(5) 计算从发送端看的平均错误概率。

(6) 从转移矩阵中能看出该信道的优劣吗？

(7) 计算发送端的H(X)和H(X|Y)。

39具有6.5MHz带宽的某高斯信道，若信道中信号功率与噪声功率谱密度之比为45.5MHz，试求其信道容量。

310电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为获得满意的图像质量，要求信号与噪声的平均功率比为30dB，试计算在这些条件下传送电视视频信号所需的带宽。

311一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在加性白色高斯噪声。

(1) 已知信道上的信号与噪声的平均功率比为10，求该信道的信道容量。

(2) 信道上的信号与噪声的平均功率比降至5，要达到相同的信道容量，信道通频带应为多大？

(3) 若信道通频带减小为0.5MHz，要保持相同的信道容量，信道上的信号与噪声的平均功率比应为多大？

312若有一信源XP=x1x20.80.2，每秒发出2.55个信源符号。将此信源的输出符号送入某一个二元信道中进行传输(假设信道是无噪无损的)，而信道每秒只传输2个二元符号。

(1) 信源不通过编码能否直接与信道连接？

(2) 通过适当编码能否在此信道中进行无失真传输？



图323习题313图

313有一个二元对称信道，其信道转移概率如图323所示。设该信道以每秒1500个二元符号的速度传输输入符号。若一消息序列共有14000个二元符号，并设消息中p(0)=p(1)=1/2。从信息传输的角度考虑，10秒内能否将这一消息序列无失真地传送完？