第3章
CHAPTER 3



信道与信道容量







信道是指信息传递的通道，通常将信源的输出至信宿的接收部分称为信道(channel)。信道的基本任务是以信号方式传输和存储信息。研究信道的主要目的是研究信道中能够传送或存储的最大信息量，即信道容量(capacity)。

本章采用与第2章相似的方式描述信道。首先对信道进行分类，并给出其对应的数学描述
； 然后从最简单的离散单符号信道出发，讨论离散信道的统计特性和数学模型，定量地给出信道传输速率的最大值，
并推导出信道容量及其计算方法； 最后在前面的基础上，
介绍离散序列信道及其容量计算方法、连续信道及其容量计算方法，
并介绍著名的香农信道容量公式，进一步探讨多输入多输出(MIMO)系统的信道容量区域。
3.1信道分类和参数表示

信道是载荷信息的信号所通过的通道或媒介。例如，在二人对话系统中，二人之间的空气就是信道；  再如常见的电话线就是信道；  当我们看电视、听收音机时，发送与接收无线信号之间的自由空间也是信道。在信息系统中，信道的主要作用是传输与存储信息，而在通信系统中则主要是传输信息，这里我们讨论后者。在通信系统中，研究信道的主要目的是为了描述、度量并分析不同类型信道，计算其容量，即理论上的极限传输能力。

实际通信系统中，信道的种类有很多种描述，可以用不同的方式进行表达。例如，可按传输媒介的类型进行划分，根据传输媒介的类型可将信道划分为有线信道和无线信道。在有线信道中，传输媒介可以是固体介质，也可以是混合介质。对于固体介质，它包含架空线和电缆等；  对于混合介质，它包含波导和光缆等。这样的信道划分可用图31表示。


图31基于传输媒介类型的信道划分



除此之外，信道也可按照信道的信号与干扰的类型进行分类，具体描述如图32所示。


图32基于信号与干扰类型的信道划分


在图32中，离散信道是指输入空间X和输出空间Y均为离散事件集；  连续信道是指输入空间X和输出空间Y都是连续事件集；  半离散或半连续信道是指输入和输出空间中，一个是离散集，另一个是连续集的情形。




根据信道的物理性质，如统计特性，也可将信道划分为恒参信道和变参信道。其中，恒参信道是指信道的统计特性不随时间变化(如有线信道、微波接力信道和卫星中继信道等)；  变参信道是指信道的统计特性随时间变化而变化(如短波通信)。最后，按用户类型可分为两端信道(单用户信道)和多端信道(多用户信道)。其中，两端信道是指信道的输入和输出都只有一个事件集，它是只有一个输入端和一个输出端的单向通信的信道；  多端信道是指信道的输入和输出至少有两个或两个以上的事件集，即3个或更多个用户之间相互通信的情况。

实际上，就通信系统而言，可以根据不同的研究对象、不同的要求，对信道进行不同形式的划分，具体信道划分如图33所示。


图33通信系统中不同形式的信道划分



在图33中，CAB为狭义的传输型信道，在研究调制解调理论或模拟通信时常引用，是一连续信道；  CCD为广义的传输型信道，在研究数字通信以及编码解码时常引用，是一离散信道；  CCB是一类半离散半连续信道，例如可以看作数字解调前的信道；  CAD是一类半连续半离散信道。上述分类中，最常用的是前两类信道，一般又称为连续的调制信道和离散的编码信道。

在第2章中我们已经知道，信源的输出在数学上可表示为一随机过程，信道的作用是将信源输出变为信宿的输入(信宿的输入在数学上也可表示为一随机过程)，因此，信道可认为是从一随机过程向另一随机过程的转移。由于信道存在噪声，信道的输入和输出之间一般不是确定的函数关系，而是统计关系。统计上而言，只要知道信道的输入、输出，以及它们之间的统计依赖关系，那么就能确定信道特性。一般而言，信道的输入和输出信号是广义时间连续随机信号，可用随机过程来描述。无论何种随机过程，只要有某种限制(如限频和限时)，就可展开成时间(或空间)上离散的随机序列。由于实际信道的带宽总是有限制的，所以输入信号和输出信号总可以展开成随机序列来研究。而随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。因此，类似于对信源的统计描述，信道的描述包括3个基本要素，分别如下：  
(1) 信道输入统计概率空间［X, p(x)］T；  
(2) 信道输出统计概率空间［Y, p(y)］T；  
(3) 信道本身的统计特性，即信道传递函数p(y|x)。
以上三要素构成了对信道整体的描述

{［X, p(x)］T, p(y|x), ［Y, p(y)］T}(3.1.1)

简记为{X, p(y|x), Y}。


图34离散单符号信道模型描述


【例31】求离散单符号信道描述。
解：  离散单符号信道如图34所示，可以描述为


X

p(x)=x1x2…xl…xn

p1p2…pl…pn

Y

p(y)=y1y2…yl…ym

p1p2…pl…pm

其中，xi∈X={x1,x2,…,xn}，yj∈Y={y1,y2,…,ym},其信道转移概率矩阵为

P=p(y1|x1)…p(ym|x1)



p(y1|xn)…p(ym|xn)






根据信道的统计特性，即条件转移概率的不同，离散信道又分成
无干扰（无噪）信道、有干扰无记忆信道和有干扰有记忆信道3种类型，下面分别进行介绍。
1) 无干扰(无噪)信道

信道中没有随机性的干扰或者干扰很小，输出信号Y与输入信号X之间有确定的对应关系，其数学表述为

y=f(x)

p(y|x)=1y=f(x)

0y≠f(x)(3.1.2)

2) 有干扰无记忆信道
在实际应用中，信道通常有干扰(噪声)，即输出符号与输入符号之间无确定的对应关系，而是一般的概率分布。若信道任一时刻输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号都无关，则称这种信道为无记忆信道。数学上，满足离散无记忆信道的充要条件是信道联合条件转移概率可表示为每个符号转移概率的乘积，即

p(y|x)=p(y1y2…yL|x1x2…xL)=∏Ll=1p(yl|xl)(3.1.3)



对于有干扰无记忆信道，存在多种类型，输入可以是离散的和连续的，输出也可以是离散的和连续的；  当输入是序列时，则又可分为无记忆序列和有记忆序列。但是，常用的有干扰无记忆信道可归纳为4种类型，
分别是二进制离散对称信道、离散无记忆信道、离散输入连续输出信道和连续输入连续输出的波形信道
，下面分别进行介绍。


(1) 二进制离散对称信道(Binary Symmetric Channel, BSC)如图35所示。

其中，信道输入X∈{0,1},信道输出Y∈{0,1}，信道转移概率为p(Y=0|X=1)=p(Y=1|X=0)=p，p(Y=1|X=1)=p(Y=0|X=0)=1-p。由于信道输入和信道输出是离散二进制符号，信道转移概率也可用如下信道矩阵表示：  

P=1-pp

p1-p(3.1.4)


该矩阵中每行都是第1行的置换，每列都是第1列的置换，是一对称矩阵，因此被称为二进制对称信道。
(2) 离散无记忆信道(Discrete Memoryless Channel, DMC)是更为一般的离散单符号信道，如图36所示。




图35BSC信道





图36DMC信道



图中，信道输入为X∈{x0，x2，…，xi，…，xn-1}，信道输出为Y∈{y0，y2，…，yj，…，ym-1}，信道转移概率为p(Y=yj|X=xi)=p(yj|xi)。对于离散无记忆信道，其信道矩阵为

P=p00p10…p(m-1)0

p01p11…p(m-1)1

………

p0(n-1)p1(n-1)…p(m-1)(n-1)(3.1.5)


其中，pji=p(yj|xi)，且∑jp(yj|xi)=1,i=0,…,n-1，称为信道传递函数(又称前向概率)，通常用它描述信道的噪声特性。BSC信道是最简单的DMC信道。

值得说明的是：  由信道的输入概率分布和信道矩阵，可计算出输入输出随机变量的联合概率分布，即贝叶斯公式：  

p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)(3.1.6)

其中，p(xi|yj)是已知信道输出符号为yj时输入符号为xi的概率，称为后验概率。有时把p(xi)称为输入符号的先验概率，表示在接收到输出符号之前判断输入符号为xi的概率；  而对应地把p(xi|yj)称为输入符号的后验概率，表示接收到输出符号yj之后，判断输入符号为xi的概率。同时由全概率公式，可从先验概率和信道传递概率求出输出符号的概率，

p(yj)=∑xip(xi)p(yj|xi)(3.1.7)


同时，根据贝叶斯公式可由先验概率和信道的传递概率求得后验概率：  

p(xi|yj)=p(xiyj)p(yj)=p(xi)p(yj|xi)∑xip(xi)p(yj|xi)(3.1.8)


(3) 离散输入连续输出信道。
离散输入连续输出信道表示有限离散的输入X∈{x0，x1，…，xn-1}和未经量化的输出Y∈{-∞,+∞}，且输入和输出间转移概率满足

p(y|X=xi)i=0，1，2，…，n-1(3.1.9)


信道的转移概率取决于噪声，其中最为重要的一类噪声是加性高斯白噪声(AWGN)信道，输出可表示为Y=X+G。G是均值为零、方差为σ2的高斯白噪声，X=xi，i=0，1，…，n-1，Y是均值为xi、方差为σ2的高斯随机变量。输入和输出间概率表示为

p(y|xi)=12πσ2e-(y-xi)2/2σ2(3.1.10)


(4) 波形信道。

输入是模拟波形、输出也是模拟波形，信道的输入和输出是任意的时间连续函数，称这种信道为波形信道或时间连续信道。若信道输入、输出间关系表示为

y(t)=x(t)+n(t)(3.1.11)

其中，n(t)代表加性噪声过程的一个样本函数，则称此信道为加性波形信道。在这种信道中，噪声与信号通常假设是相互独立，因此有

p(y|x)=p(x,y)p(x)=p(x,n)p(x)=p(n)(3.1.12)

即信道的转移概率密度函数等于噪声的概率密度函数。
因为实际波形信道的频宽是受限的，所以在有限观察时间内，能满足限时、限频的条件。因而可把波形信道的输入和输出的平稳随机过程离散化成L个时间上离散、取值连续的平稳随机序列，这样波形信道就转化成多维连续信道。
3) 有干扰有记忆信道
一般的信道都是有干扰有记忆的信道，例如实际的数字信道，当信道特性不理想，存在码间干扰时，输出信号不但与当前的输入信号有关，还与以前的输入信号有关，这样的信道称为有记忆信道。这时信道的条件不再满足式(3.1.3)。处理这类信道的常用方法有如下两种：  

(1) 把记忆较强的L个符号视作一个矢量符号来处理，而各矢量符号之间被认为是无记忆的，这样可将有记忆信道转化成无记忆信道的问题。当然，这种处理一般会引入误差，因为实际上第1个矢量的最末几个符号与第2个矢量的最前面几个符号是有关联的。L取值越大，误差将越小。

(2) 将转移概率p(y|x)看作马尔可夫链的形式，这是有限记忆信道的问题。把信道某时刻的输入和输出序列看成信道的状态，信道的统计特性可采用在已知时刻的输入符号和前时刻信道所处状态的条件下，信道的输出符号和所处状态的联合条件概率来描述，即用p(ylsl|xlsl-1)来描述。然而，在一般情况下这种方法仍很复杂，只有在每一个输出符号只与前几个输入符号有关的简单情况下，才可得到比较简单的结果。

在分析实际问题时，选用何种信道模型完全取决于分析者的目的。如果感兴趣的是设计和分析离散信道编码、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式
的BSC信道模型；  若分析
系统性能的在理论上的极限情况，则多选用离散输入、连续输出信道模型。另外，如果想分析数字调制器和解调器的性能，则可采用波形信道模型。
3.2离散单符号信道及其容量

类似于对信源的研究，我们仍从最基本、最简单的单个消息的输入输出信道入手，研究其信道容量问题，再逐步推广至消息序列信道和连续信道，下面先介绍信道容量的定义。
3.2.1信道容量定义

输入单个消息的信道，如图37所示。它的输入随机变量为X，取值于a1，a2，…，an，输出随机变量为Y，取值于b1，b2，…，bm，转移概率矩阵表示为

P=［pji］=［p(yj|xi)］(3.2.1)


即

P=p(b1|a1)p(b2|a1)…p(bm|a1)

p(b1|a2)p(b2|a2)…p(bm|a2)



p(b1|an)p(b2|an)…p(bm|an)=
p11p21…pm1

p12p22…pm2



p1np2n…pmn

其中，当信道有干扰时，∑mj=1p(yj|xi)=1，i=1，2,…，n；  当信道是无干扰离散信道时，矩阵中的元素一个为1，其余均为0。下面介绍几种常见的单符号离散信道。

【例32】对于某二元删除信道(Binary Erasure Channel, BEC)，其输入符号集A={0,1}，输出符号集B={0,?,1}，其传递概率如图38所示，试描述该信道。



图37单符号离散信道的数学模型



图38二元删除信道

解：  转移概率矩阵为

P=p1-p0

01-qq

且有∑jp(bj|ai)=1,i=1,2。

这种信道实际是存在的。假如有一个实际信道，它的输入是代表0和1的两个正负方波信号，如图39(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t)，如图39(b)所示。可以用积分I=∫R(t)dt来判别发送的信号是0，还是1。如果I是正的且大于某一电平，那么判别发送的是0；  若I是负的且小于某一电平，则判别发送的是1; 而若I的绝对值很小，不能做出确切的判断，就认为接收到的是特殊符号“？”。假如信道干扰不是很严重，那么1→0和0→1可能性比1→?和0→?的可能性小得多，所以假设p(1|0)=p(0|1)=0是较合理的。


图39实际波形示意图



研究各类信道的目的是讨论信道中平均每符号所传送的信息量，即信道的信息传输率R。在第2章中，我们学习了平均互信息I(X; Y)，它表示接收到符号Y后，平均每个符号可获得的关于X的信息量，这也等同于在发送X接收Y的信息传输过程中，平均每个符号携带了I(X; Y)大小的信息，当接收端平均收到一个符号后，获取了I(X; Y)的有关X的信息。因此信道中信息传输率可用平均互信息表示，其数学表达式为

R=I(X; Y)=H(X)-H(X|Y)(3.2.2)

其中，X∈{a1，…，an}，Y∈{b1，…，bm}，单位为比特/符号。
有时我们所关心的是信道在单位时间内平均传输的信息量，可定义为

Rt=1TI(X; Y)(3.2.3)


其单位为比特/秒。由平均互信息的定义知I(X; Y)=∑ni=1∑mj=1p(xi)p(yj|xi)logp(yj|xi)p(yj)，且输出符号的分布概率可表示为p(yj)=p(Y=yj)=∑ni=1p(xi)p(yj|xi)。由于在转移概率给定的情形下，I(X; Y)是输入符号的概率分布p(xi)的上凸函数。因此，对于一个信道，总存在一种特定的输入符号分布，使传输时平均每个符号所载荷的信息量最大。

定义3.1：  对于某一信道，可传输信息速率的最大值称为信道容量(Channel Capacity)，以符号C表示，单位为比特/符号或比特/秒。

C= maxp(xi)I(X; Y)= maxp(xi)∑ni=1∑mj=1p(xi)p(yj|xi)logp(yj|xi)p(yj)(3.2.4)


如果已知符号传送的周期是T秒，也可以用比特/秒为单位来计算信道容量。此时信道容量的计算式为

C=CT=
1T
maxp(xi)I(X; Y)
(3.2.5)


因为I(X; Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)，在p(yj|xi)给定的条件下，有

C= maxp(xi)I(X; Y)= maxp(xi)［H(X)-H(X|Y)］= maxp(xi)［H(Y)-H(Y|X)］

(3.2.6)


由此可知，信道容量与信道输入符号的概率分布无关，它只是信道传输概率的函数，与信道的统计特性有关。所以，信道容量是完全描述信道特性的参数，是信道能够传输的最大信息量。信道容量的物理含义是：  消息在信道传输的过程中，在传输消息不产生失真的条件下，信道所允许的最大传输速率；  或者是在传输消息不产生失真的条件下，单位时间内信道所允许传输的最大信息量。
3.2.2离散单符号无噪信道及其容量

在了解信道容量的定义后，我们首先讨论无干扰(无噪)信道的容量问题。无干扰(无噪)信道，其离散无噪声信道的输入和输出符号之间存在着确定的关系，一般可进一步分为无损信道、确定信道和无损确定信道3类。现分别给出这3类信道容量的计算。
1. 无损信道
无损信道的一个输入对应多个互不相交的输出，如图310所示。其信道矩阵中每一列只有一个非零元素，即信道输出端接收到Y以后

图310无损信道
必可知发送端的X状态。图310所示的信道中，当r＝3时，其信道矩阵为


P=1/21/20000

003/53/101/100

000001


信道的后向概率为p(ai|bj)=0bjBi



1bj∈Bi，故知损失熵H(X|Y)=0。在这类信道中，因为信源发生符号ai，并不依一定概率取Bi中的某一个bj，因此噪声熵H(Y|X)>0。于是，可以求出无损信道的平均互信息为I(X; Y)=H(X)<H(Y)，即其信道容量为

C= maxp(x){I(X; Y)}= maxp(x){H(X)}=logr(比特/符号)

2. 确定信道
确定信道如图311所示。它的一个输出对应多个互不相交的输入。这时，信道矩阵中的每一行只有一个1，其余元素均等于0，即发出某一个ai，可以知道信道输出端接收到的是哪一个bj。在图311中，当r＝2时，其信道矩阵为

P=100

100

010

010

010

该信道的传递概率为
p(bj|ai)=0ajAi



1aj∈Ai，故知噪声熵H(Y|X)=0。在这类信道中，信源输出端接收到某bj以后，并不能判断是哪一个输入符号ai，因此损失熵H(X|Y)>0。于是，可以求出确定信道的平均互信息为I(X; Y)=H(Y)<H(X)，即其信道容量为

C= maxp(x){I(X; Y)}= maxp(x){H(Y)}=logs(比特/符号)

3. 无损确定信道

该类信道的输入和输出是一一对应的关系，即y=f(x)，其信道传递概率为
p(bj|ai)=0i≠j




1i=j，如图312所示。




图311确定信道




图312无损确定信道




其信道矩阵为单位阵，当r=3时，其信道矩阵为

P=100

010

001


该信道的传递概率和后向概率一致，即p(ai|bj)=p(bj|ai)=0i≠j



1i=j，故信道的噪声熵H(Y|X)和损失熵H(X|Y)均等于零。于是确定信道的平均互信息为I(X; Y)=H(X)=H(Y)，它表示信道输出端收到符号Y后，平均获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。其信道容量为

C= maxp(x){I(X; Y)}= maxp(x){H(X)}=logr(比特/符号)



综合以上3种情况可见，凡损失熵等于零的信道为无损信道；  凡噪声熵为零的信道为无噪信道，一一对应的无噪信道则称为无噪无损信道。这3类信道容量的求解问题，将从求I(X; Y)的极值问题退化为计算H(X)或H(Y)的极值问题。

3.2.3离散单符号有噪信道及其容量
在无干扰(噪声)信道容量分析的基础上，下面将进一步讨论有噪声信道的容量问题，并给出几种特殊信道和一般离散单符号有噪信道容量的计算方法。
1. 对称DMC信道
离散信道中有一类特殊的信道，其特点是信道矩阵具有对称性。我们首先给出信道矩阵对称的定义。
定义3.2：  如果转移概率矩阵P的每一行都是第1行的置换，则称该矩阵具有输入对称。
对于输入对称矩阵，其条件熵与信道输入符号的概率分布无关。

H(Y|X)=-∑ip(xi)∑jp(yj|xi)logp(yj|xi)

=-∑jp(yj|xi)logp(yj|xi)

=H(Y|xi)i=0,1,…,n-1(3.2.7)


式(3.2.7)表明：  对于输入对称信道矩阵，其条件熵H(Y|X)与输入符号的概率分布无关。
定义3.3：  如果转移概率矩阵P的每一列都是第1列的置换，则称该矩阵具有输出对称。

对于输出对称信道，如果信道输入符号是等概的，由于转移概率矩阵的列对称，则信道输出符号也等概率分布；  反之，若信道输出符号等概率分布，输出对称信道的输入符号也必定等概率分布，即由于p(yj)=∑ip(xi)p(yj|xi)，当p(xi)=1n时，p(yj)=1n∑ip(yj|xi)为常量; 反之，当p(yj)=1m为常量时，p(xi)也为常量。
定义3.4：  若一个DMC信道矩阵同时具有输入对称和输出对称，则称该信道为对称DMC信道。
对于对称DMC信道，在输入对称和输出对称的条件下，可直接计算出其容量： 

C= maxp(xi)［H(Y)-H(Y|X)］= maxp(xi)［H(Y)］-H(Y|xi)

=logm-H(Y|xi)=logm+∑mj=1p(yj|xi)logp(yj|xi)(3.2.8)


对称DMC信道，当输入符号等概时，互信息可达到最大值，该最大值即为信道容量。此时，信道容量与信道输出符号数目和信道转移概率相关。

【例33】BSC信道是一种二进制对称信道，它是对称DMC信道的特例，计算其容量。
解：  BSC信道的示意图如图313所示。

其信道矩阵为

P=1-pp

p1-p



由对称性质知，信道容量为输入均匀且输出均匀时的互信息量，得

C=H(Y)-H(Y|X)=1-H(Y|xi)

=1+(1-p)log(1-p)+plogp

=(1-p+p)log2+(1-p)log(1-p)+plogp

=(1-p)log2(1-p)+plog2p


于是，当p=0或p=1时，容量C=1比特/符号；  当p=1/2时，信道容量C=0；  当1/2<p<1时，可在BSC的输出端颠倒0和1，导致信道容量以p=1/2点为中心对称，如图314所示。


图313二元对称信道




图314二元对称信道的容量与出错概率p的关系


条件熵H(X|Y)可以解释为由于噪声而造成的平均信息量的损失，称为噪声熵。当p=0或p=1时，噪声熵为零，容量等于X的信息量，C=1比特/符号；  当p=1/2时，信道输出与信道输入无关，因而噪声熵达到最大，为1比特/符号，所以信道容量C=0；  一般I(X，Y)=H(X)-H(X|Y)≥0。
【例34】某对称离散信道矩阵为P=1/31/31/61/6

1/61/61/31/3，计算其容量。
解：  根据对称DMC信道容量计算式得

C=logm-H13,13,16,16

=2+13log13+13log13+16log16+16log16

=0.0817（比特/符号）



在这个信道中，每个符号平均能够传输的最大信息为0.0817比特/符号，而且只有当输入符号为等概率分布时才能达到这个最大值。
2. 强对称信道
对称信道的一种特例是强对称信道。对于强对称信道，该信道的输入和输出符号数不仅相同，且正确的传输概率为1-ε，错误概率ε被对均匀地分布在其他n-1个输出符号上，它的信道矩阵表示为

P=1-ε…εn-1



εn-1…1-ε


由平均互信息的定义可得

I(X; Y)=H(Y)-H(Y|X)=H(Y)+∑ni=1p(xi)∑jpjilogpji

=H(Y)+∑ni=1p(xi)(1-ε)log(1-ε)+(n-1)εn-1logεn-1

=H(m)-H1-ε,εn-1,…,εn-1



由离散信源最大熵定理可知，当信道输入等概分布时，信道具有最大的传输速率：  C=maxp(xi)I(X; Y)=logn-H1-ε,εn-1,…,εn-1。
3. 准对称DMC
定义3.5：  若一个DMC信道矩阵仅具有输入对称，而不具有输出对称，且信道矩阵可分为若干个互不相交的子集，且每个子集均为对称矩阵，则该信道称为准对称信道。
例如，P=0.30.20.20.3

0.20.30.20.3为一准对称信道。由于信道转移矩阵具有输入对称，条件熵则与信道输入符号的概率分布无关；  但由于
信道转移矩阵不具有输出对称，所以信道的输入和输出分布概率不同时相等，此时H(Y)的最大值小于Y等概率时的熵，因而对于准对称DMC信道，它的容量有

C= maxp（xi)［H(Y)-H(Y|X)］

= maxp（xi)［H(Y)］+∑ni=1p(xi)∑mj=1p(yj|xi)logp(yj|xi)

≤logm+∑mj=1p(yj|xi)logp(yj|xi)


定理3.1：  当信道输入符号等概分布时，准对称DMC信道达到其信道容量C。
证明略。
【例35】对于某一离散信道，其信道转移矩阵为
P=0.50.30.2

0.30.50.2 求其信道容量C。
解：  对于准对称DMC信道，当输入均匀分布时，互信息量达到最大。

C= maxp(xi)［H(X)-H(X|Y)］= maxp(xi)［H(Y)-H(Y|X)］

H(X|Y)=∑ijp(xiyj)logp(xi|yj)


由于
P=［p(yj|xi)］
=0.50.30.2

0.30.50.2是一输入对称信道，当它输入符号等概分布时，即p(x0)=p(x1)=1/2时，互信息可达到最大值即信道容量C。于是，输入输出的联合概率为

［p(xiyj)］=0.5×120.3×120.2×12

0.3×120.5×120.2×12


信道输出符号概率为

p(y1)=12×(0.5+0.3)=0.4

p(y2)=12×(0.3+0.5)=0.4

p(y3)=12×(0.2+0.2)=0.2


得到

C=H(Y)-H(Y|xi)

=-0.4log0.4-0.4log0.4-0.2log0.2+0.5log0.5+0.3log0.3+0.2log0.2

=0.5log0.5+0.3log0.3-0.8log0.4

=0.036(比特/符号)


【例36】求某离散信道矩阵P=1-p-qqp

pq1-p-q的信道容量C。
解：  因为该信道为准对称信道，所以当输入等概时，I(X；  Y)有最大值。

p(Y=0)=∑2i=1p(xi)p(y0|xi)=12(1-p-q+p)=12(1-q)

p(Y=1)=∑2i=1p(xi)p(y1|xi)=12(q+q)=q

p(Y=2)=∑2i=1p(xi)p(y2|xi)=12(p+1-p-q)=12(1-q)

C=H(Y)-
H(Y|X)

=-(1-q)log(1-q)/2-qlogq+(1-p-q)log(1-p-q)+qlogq+plogp

=(1-p-q)log(1-p-q)+plogp-(1-q)log(1-q)/2





图315二进制删除信道


当p=0时，C=1-q(比特/符号)，此时信道退化为如图315所示的删除信道。
对于准对称DMC信道，也可通过将信道转移概率矩阵划分成若干个互不相交的对称的子信道来计算其信道容量。
定理3.2：  对于准对称DMC信道，可将信道转移概率矩阵划分成若干个互不相交的对称的子信道。当输入分布为等概分布时，达到信道容量： 

C=logn-H(p′1，p′2，…，p′m)-∑rk=1NklogMk(3.2.9)


其中，n为信道输入符号集个数，p′1,p′2,…，p′m是信道转移矩阵中一行的元素，Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的对称子信道的个数。

证明：  将准对称DMC信道按输出划分为若干互不相交的对称子信道集，设为子信道［Q1 Q2… Q
r］，它们对应输出Y分为子集Y1，Y2，…，Yr，且有Y1∪Y2…∪Yr=Y。这样，每个Yi对应的Qi子信道都是对称的。
设Xi∈(x1，x2，…，xn)，有


I(xi; Y)=∑y∈Y［p(y|xi)logp(y|xi)/p(y)］

=∑y∈Yp(y|xi)logp(y|xi)-∑y∈Yp(y|xi)logp(y)


因为每个Qi都是对称子信道，所以信道转移矩阵P中的行元素由{p′1，p′2，…，p′n}组成,故∑y∈Yp(y|xi)logp(y|xi)与xi无关，即∑y∈Yp(y|xi)logp(y|xi)=-H(p′1，p′2，…，p′n)，i=1，2，…，n。而∑y∈Yp(y|xi)logp(y)=∑y∈Yp(y|xi)log∑kp(xk)p(y|xk)，设X的符号集的符号数为n，且令p(xi)=1/n，则


∑y∈Yp(y|xi)logp(y)=∑y∈Yp(y|xi)log1/n∑kp(y|xk)

=∑y∈Y1p(y|xi)log1/n∑kp(y|xk)+…+


∑y∈Yrp(y|xi)log1/n∑kp(y|xk)


因为Q1，Q2，…，Qr对称，所以

∑kp(y|xk)=M1y∈Y1



∑kp(y|xk)=Mny∈Yn


其中，Mi是y固定时，Qi中列元素之和。又因为Q1，Q2，…，Qr输入对称，同理得到

∑y∈Y1p(y|xk)=N1y∈Y1



∑y∈Yrp(y|xk)=Nny∈Yr(与xi无关)


其中，Ni是xi固定时，每个Qi子矩阵中行元素之和，且N1+N2+…Nr=∑mi=1p′i=1。所以∑y∈Yp(y|xi)logp(y)在输入等概率时也与xi无关，即

∑y∈Yp(y|xi)logp(y)=N1logM1/n+N2logM2/n+…NnlogMn/n


=∑rk=1NklogMk/n


所以可得


I(X; Y)=-H(p′1，p′2，…，p′m)-∑rk=1NklogMk/n


=logn-H(p′1，p′2，…，p′m)-∑rk=1NklogMk


其中，n为信道输入符号集个数，p′1,p′2，…，p′m是信道转移矩阵中一行的元素，Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子对称信道的个数。

【例37】对准对称矩阵P=0.50.30.2

0.30.50.2进行分解，得到两个子对称矩阵0.50.3

0.30.5和0.2

0.2。利用上述方法计算出该准对称信道的容量。
解：  由分解过程可知，子信道个数为2，

N1=0.5+0.3=0.8

M1=0.5+0.3=0.8

N2=0.2

M2=0.2+0.2=0.4


计算容量：  

C=log2-H(0.5,0.3,0.2)-0.8log0.8-0.2log0.4

=0.036（比特/符号）


【例38】对信道P=1-p-qqp

pq1-p-q进行分解，得到两个子对称矩阵1-p-qp

p1-p-q和q

q。计算其容量。
解：  由信道分解得到

N1=1-p-q+p=1-q

M1=1-p-q+p=1-q

N2=q

M2=q+q=2q


计算容量：  

C=log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog2q

=log2+(1-p-q)log(1-p-q)+plogp
+qlogq-(1-q)log(1-q)-qlog2q

=(1-p-q)log(1-p-q)+plogp-(1-q)log(1-q)/2


【例39】计算准对称信道P=1/31/31/61/6

1/61/31/61/3的容量。
解：  可将该准对称信道分解成1/31/6

1/61/3、1/3

1/3和1/6

1/6。根据计算公式，可计算出

C=log2-H13,13,16,16-13+16log13+16-13log13+13-

16log16+16
=0.041(比特/符号)


4. 可逆矩阵信道的信道容量
定义3.6：  若离散单符号信道的信道矩阵P存在可逆矩阵R=P-1，则该信道称为可逆矩阵信道。
定理3.3：  对于信道输入、输出具有相同数量元素的可逆矩阵信道，若信道矩阵的可逆矩阵为R［Rik］=R11…R1n



Rn1…Rnn=P-1，则信道的容量为

C=log∑kexp∑i∑jRikpjilogpji(3.2.10)

其中，∑ipjiRik=δkj=1k=j



0k≠j，∑iRik=∑iRik∑jp
ji=∑j∑iRikpji=∑jδkj=1。
证明：  引用拉格朗日乘子法，求解互信息的极值，
其中p(xi)简记为pi，得到表达式为

piI(pi)-λ∑ipi=0i=1,2,…,n



由qj=∑ipipji且qjpi=pji得

∑jpjilogpji-∑j(loge+logqj)pji-λ=0


进一步整理得到

∑jpjilogpjiqj=loge+λ=C


用∑iRik=1乘上式两边，得到

∑i∑jRikpjilogpji-∑j∑iRikpjilogqj=(loge+λ)∑iRik=C


故有

∑i∑jRikpjilogpji-logqk=C


设对数的底是e，得

qk=exp-C+∑i∑jRikpjilogpji


因此，

∑kqk=∑kexp-C+∑i∑jRikpjilogpji=1


最后得到

C=log∑kexp∑i∑jRikpjilogpji


可见，这一结果仅是理论上的意义，即当信道转移矩阵的逆矩阵存在时，其信道容量可求。
另一方面，当信道转移矩阵是非奇异的，由上面结果可得

∑jpjilogpji-∑jpjilogqj=Ci=1，2，…，n


移项后，得到

∑jpjilogpji=∑jpji［C+logqj］i=1，2，…，n


令βj=C+logqj，得到

∑jpjilogpji=∑jpjiβji=1，2，…，n



这是含有m个未知数βj的n个方程的非齐次线性方程组。如果m=n，信道转移矩阵P是非奇异矩阵，则此方程组有解。可根据∑mj=1qj=1的条件，求得信道容量为

C=log∑j2βj（比特/符号）

由C值可计算对应的输出概率分布qj=2βj-C，j=1，2，…，m。再由式qj=∑ipipji，可计算出达到信道容量的最佳输入概率分布。
5. 一般DMC信道容量计算

对于一般离散单符号信道而言，信道容量的计算非常复杂，几乎不易得到手工计算的结果，但可以借助于计算机计算。现介绍一般离散单符号信道容量的计算算法。
一般离散单符号信道的输入为X∈{a1，a2，…，an}，输出为Y∈{b1，b2，…，bm}。信道的容量等于C=maxp(xi)I(X; Y)。其中，信道矩阵P由
{p(bi|ai)}给定。一般而言，为使I(X; Y)最大化以便求取DMC信道的容量，输入概率集{p(ai)}必须满足的充分和必要条件是
(1) 对于所有满足p(ai)>0条件的i有

I(ai; Y)=C


(2) 对于所有满足p(ai)=0条件的i有

I(ai; Y)≤C(3.2.11)

此算法称为BlahutArimoto算法。它是1972年由RBlahut和AArimoto分别独立提出的一种算法。该算法可以这样直观地理解：  在某种给定的输入符号xi分布下，对输出Y所提供的平均互信息为
I(ai; Y)=∑mj=1
p(bj|ai)logp(bj|ai)p(bj)。若其中某一输入符号比其他输入符号可获得的平均互信息量都大时，可进一步增加这一符号的输入概率，使得加权平均后的互信息增大；  但是，这种符号的输入概率的改变使得这一符号的输出平均互信息会减小。经过不断调整输入符号的概率分布，最终可使每个概率不为零的输入符号对输出Y提供的平均互信息量相同。

BlahutArimoto算法只给出了达到信道容量时最佳输入概率分布应满足的条件，并没有给出输入符号的最佳概率分布，因而也没有给出信道容量的数值大小。另外，算法本身也隐含着达到信道容量的最佳分布并不一定是唯一的。在一些特殊情况下，我们可以利用这一算法来找出所求信道的信道容量。



图316例310的离散信道


【例310】信道如图316所示，输入符号集为{0,1,2}，输出符号集为{0,1}，信道矩阵为P=10

1/21/2

01，求其容量。
解：  观察该信道，若输入符号1的概率分布等于零，则该信道成为一一对应信道，接收Y后对输入X完全确定。若输入符号1的概率分布不等于零，就会增加不确定性。所以，先假设输入概率分布为p(0)=p(2)=1/2,p(1)=0，检查是否满足式(3.2.11)，若满足，则该分布就是我们要求的最佳分布；  若不满足，则可再找最佳分布。
根据式(3.2.11)可计算得

I(0; Y)=∑1y=0p(y|0)logp(y|0)p(y)=log2


同理，

I(2; Y)=∑1y=0p(y|2)logp(y|2)p(y)=log2


而

I(1; Y)=∑1y=0p(y|1)logp(y|1)p(y)=0

可见，此分布满足式(3.2.11)。因此，求得该信道的容量为


C=log2=1（比特/符号）


且达到信道容量的输入概率分布为p(0)=p(2)=1/2,p(1)=0。


图317例311的离散信道

【例311】设信道如图317所示，输入符号集为{a1，a2，a3，a4，a5}，输出符号集为{b1，b2}，信道矩阵为P=10

10

1/21/2

01

01，求其容量。
解：  

观察该信道，由于输入符号a3到b1和b2的概率相等，所以可以设a3的分布概率为零；  同时a1、a2与a4、a5都分别传输到b1和b2，因此可只取a1和a5。先假设输入概率分布为p(a1)=p(a5)=1/2,p(a2)=p(a4)=p(a3)=0，可计算得

I(a1; Y)=I(a2; Y)=log2

I(a4; Y)=I(a5; Y)=log2

I(a3; Y)=0


可见，此分布满足式(3.2.11)。因此，求得该信道的容量为

C=log2=1（比特/符号）


达到信道容量的输入概率分布为

p(a1)=p(a5)=1/2,p(a2)=p(a4)=p(a3)=0


若假设输入分布为p(a1)=p(a5)=p(a2)=p(a4)=1/4,p(a3)=0，同理可计算得

I(a1; Y)=I(a2; Y)=log2

I(a4; Y)=I(a5; Y)=log2

I(a3; Y)=0


此分布满足式(3.2.11)，p(a1)=p(a5)=p(a2)=p(a4)=1/4,p(a3)=0也是该信道的最佳分布。
由此可见，这类信道的最佳输入分布不是唯一的。因为互信息I(ai; Y)仅与信道转移概率和输出概率分布有关，因而达到信道容量的输入概率分布不是唯一的，但输出概率分布应是唯一的。
为了获得一般离散单符号信道的容量，可通过迭代计算方法实现信道容量计算，现给出迭代计算的迭代公式。
根据平均互信息的定义式：  


I(X; Y)=H(X)-H(X|Y)=-∑ipilogpi+∑ijpipjilogθij

=-∑ipilogpi+∑ijqjθijlogθij


其中，pi是信道输入符号的概率分布，θij=pi
pji∑ipipji为反条件概率（后向概率），qj=∑ipipij为输出符号分布概率。平均互信息可描述为两个变量(pi,θij)的函数，即I~I(pi，θij)。首先，I(pi,θij)在pi不变且满足∑iθij=1的条件下，求解平均互信息I关于θij的条件极值问题。数学上，可通过拉格朗日乘子法求解，得到


θijI(pi,θij)-λj∑iθij=0
i=1，2，…，n； j=1，2，…，m


解得θ*ij=pipji∑ipipji，此式为迭代公式1。

其次，I(p，θij)在θij给定且满足∑ipi=1的条件下求解关于pi的极值问题，再次通过拉格朗日乘子法求解：  


piI(
pi,θij)-λ∑ipi=0i=1,2,…,n； j=1,2,…,m


通过计算，可求得解为p*i=exp∑jpjilogθij∑iexp∑jpjilogθij，此式为迭代公式2。
将迭代公式1和公式2修改为更加便于计算的迭代关系如下：  


θnij=pnipji∑ipnipji

pn+1i=exp∑jpjilogθnij∑iexp∑jpjilogθnij(3.2.12)



因此，一般离散单符号信道容量的迭代实现过程如式(3.2.12)所示：  假设信道的输入分布为某一特定分布，如等概分布，由迭代公式(3.2.12)计算出反条件概率最佳值，再由信道的输入分布和反条件概率的两个变量(pi，θij)根据平均互信息定义式获得互信息量C(1,1)；  在此基础上，将计算出的最佳反条件概率作为已知条件，由迭代公式(3.2.12)计算出最佳信道的输入分布概率，并由平均互信息定义式计算互信息量C(2,1)；  该过程不断重复，直到第r次，计算出的容量差值δ=C(r+1，r)-C(r，r)<ε，其中ε为预置的精度要求，则停止迭代，表明达到平均互信息的最大值，即信道容量； 反之，将继续迭代和计算下去，直到最大值获得为止。迭代步骤示意图如图318所示。


图318一般离散单符号信道容量迭代步骤示意图


可以进一步证明limr→∞C(r,r)=limr→∞C(r+1,r)=C，即该计算值将收敛于信道容量；  收敛速度取决于C-C(r+1，r)≤1r
［logn-H(p)］，可见，迭代速度正比于信源冗余D=logn-H(p)，反比于迭代次数r。

3.3离散序列信道及其容量
前面讨论了信道的输入输出为单个符号的随机变量时的信道容量。然而，在实际应用中，信道的输入和输出却在空间或时间上是离散的随机序列，
其中包含无记忆的随机序列和有记忆的随机序列。序列信道的基本模型可用图319描述。


图319离散序列信道模型示意图


对于无记忆离散序列信道，其信道转移概率为

p(Y|X)=p(Y1Y2…YL|X1X2…XL)

=∏Ll=1p(Yl|Xl)(3.3.1)


若信道是平稳的，则序列信道的转移概率可进一步表示为

p(Y|X)=pL(Yl|Xl)(3.3.2)

其中，p(Yl|Xl)是信道符号转移概率。根据联合平均互信息的定义，可以得到

I(X; Y)=
H(X)-H(X|Y)

=H(Y)-H(Y|X)

=∑p(X，Y)logp(Y|X)p(Y)


因此，当输入离散序列达到最佳分布时，离散序列信道的容量为

CL= maxp（X）I(X; Y)(3.3.3)


离散无记忆序列信道有几种常见形式，分别是并联信道、和信道和扩展信道，现逐一阐述如下。
3.3.1并联信道
并联信道是指两个或两个以上的信道相并联的情况。在此只讨论各信道相互独立的情形。图320是两个相互独立的信道相并联构成一个整体信道的结构示意图。


图320两个相互独立的信道相并联的结构示意图

当各信道相互独立时，联合条件概率可表示为每个符号转移概率的乘积，即

p(y1y2|x1x2)=p(y1|x1)p(y2|x2)

于是，平均联合互信息量表示为

I(X1X2; Y1Y2)=∑x1x2y1y2p(x1x2y1y2)logp(y1y2|x1x2)p(y1y2)

=∑x1x2y1y2p(x1x2)p(y1|x1)p(y2|x2)logp(y1|x1)p(y2|x2)p(y1y2)

这里的信源是有记忆信源，第1个符号x1和第2个符号x2之间不独立，所以p(x1x2)=p(x1)p(x2|x1)。下面来比较I(X1X2; Y1Y2)与I(X1; Y1)+I(X2; Y2)的大小。

按照平均互信息的定义式，信道1上传输的平均互信息为

I(X1; Y1)=∑x1y1p(x1)p(y1|x1)logp(y1|x1)p(y1)

=∑x1y1∑x2p(x1x2)=p(x1)p(y1|x1)∑y2p(y2|x2)=1logp(y1|x1)p(y1)

=∑x1x2y1y2p(x1x2)p(y1|x1)p(y2|x2)logp(y1|x1)p(y1)


同理，信道2之上传输的平均互信息量为

I(X2; Y2)=∑x1x2y1y2p(x1x2)p(y1|x1)p(y2|x2)logp(y2|x2)p(y2)


因此，

I(X1X2; Y1Y2)-［I(X1; Y1)+I(X2; Y2)］

=∑x1x2y1y2p(x1x2)p(y1|x1)p(y2|x2)logp(y1)p(y2)p(y1y2)

=∑y1y2p(y1y2)logp(y1)p(y2)p(y1y2)


由于输入消息x1和第2个符号x2不是相互独立的，故输出消息y1和y2也不会相互独立。根据Jensen不等式得

I(X1X2; Y1Y2)-［I(X1; Y1)+I(X2; Y2)］

≤log∑y1y2p(y1y2)p(y1)p(y2)p(y1y2)=log1=0



即

I(X1X2; Y1Y2)≤［I(X1; Y1)+I(X2; Y2)］(3.3.4)


类似结论可以推广至N个子信道独立并联的情形，可以得到

I(X; Y)≤∑Ll=1I(Xl; Yl)(3.3.5)


根据信道容量的定义，两个独立信道并联后构成的并联信道的总容量C12满足：  

C12=maxI(X1X2; Y1Y2)≤max［I(X1; Y1)+I(X2; Y2)］=C1+C2(3.3.6)


以此类推，当N个相互独立的信道并联时，其总信道容量满足：  

C≤∑Nl=1Cl(3.3.7)

其中，Cl为第l个子信道的信道容量。当并联的各个信道都相同时，有C≤NCl。
3.3.2和信道
若在任一单位时间内随机地选用图321中的信道1或信道2中的任一个而不能同时选用两个，则称这种信道为和信道或并信道。

图321和信道的信道模型

若选用信道1的概率为k1，选用信道2的概率为k2，且k1+k2＝1，则此时和信道的输入X相当于X1+X2，输出Y为Y1+Y2，其转移概率分布为
［p(y|x),p(y′|x′)］，信道模型如图321所示。
和信道的互信息量为

I(X; Y)=∑i∑jk1p(xi)p(yj|xi)logp(yj|xi)k1p(yj)+

∑i′∑j′k2p(x′i)p(y′j|x′i)logp(y′j|x′i)k2p(y′j)

=k1I(X1; Y1)+k2I(X2; Y2)-(k1logk1+k2logk2)

其中，k1和k2分别为每个子信道的使用概率。由信道容量定义可知，信道容量将是互信息的最大值，即

C= maxk1［k1C1+k2C2+H(K)］

其中，C1、C2分别是信道1、信道2的容量，H(K)=-(k1logk1+k2logk2)。
对k1求导数，令导数为零，得

ddk1［k1C1+k2C2+H(K)］=C1-C2-logk1+logk2=0


所以C1-logk1=C2-logk2=μ，即有

k1=2C1-μ



k2=2C2-μ


由于k1+k2=1，所以可解得

k1=2C1∑2i=12Ci




k2=2C2∑2i=12Ci


代入和信道容量公式，得到C=log(2C1+2C2)。此结论可推广到N个独立信道构成的和信道，其信道容量C为

C=log∑Ll=12Cl(3.3.8)


3.3.3扩展信道
对于一般的离散单符号信道的N次扩展信道，可构成N次离散无记忆序列信道。由定义可知，此时平均序列互信息将小于每个信道平均互信息之和，即

I(X; Y)≤∑Nl=1I(Xl; Yl)(3.3.9)


同样，可计算出其信道容量为

CN= maxp(x){I(X; Y)}= maxp(x)∑Nl=1I(Xl; Yl)=∑Nl=1Cl(3.3.10)

式中，Cl=maxp(x){I(Xl; Yl)}，是某时刻通过离散无记忆信道传输的最大信息量。根据前面讨论的方法可求出离散无记忆信道的信道容量C。因为现在输入随机序列
X=(X1X2…XN)在同一信道中传输，所以Cl=C。即任何时刻通过离散无记忆信道传输的最大的信息量都相同，于是得

CN=NC(3.3.11)


此式说明离散无记忆的N次扩展信道的信道容量等于原单符号离散信道的信道容量的N倍，且只有当输入信源是无记忆的及每一输入变量Xl的分布各自达到最佳分布p(x)时，才能达到信道容量NC。
一般情况下，消息序列在离散无记忆的N次扩展信道中传输的信息量为

I(X; Y)≤NC(3.3.12)


【例312】求二元对称信道的二次扩展信道矩阵和容量。
解：  二元对称信道的二次扩展信道的输入、输出序列的每一个随机变量均取值于{0,1}，输入共有nN=22=4个取值，输出共有mN=22=4个取值。根据无记忆序列信道的转移概率计算方法得

p(y1|x1)=p(00|00)=p(0|0)p(0|0)=p2

p(y2|x1)=p(01|00)=p(0|0)p(1|0)=pq

p(y3|x1)=p(10|00)=p(1|0)p(0|0)=pq

p(y4|x1)=p(11|00)=p(1|0)p(1|0)=q2


其中，p+q=1。同理，可求出其他的转移概率，得

P=p2pqqpq2

pqp2q2qp

qpq2p2pq

q2qppqp2


由此可见，这是一对称DMC信道，当输入序列等概率分布时，可计算出容量为

C2=log4-H(p2,pq,qp,q2)


例如，当p=0.1时，则C2=(2-0.938)=1.062
（比特/序列），而p=0.1时的BSC单符号信道的容量是C1=1-H(1)=0.531
（比特/符号）。二次扩展信道的容量刚好是BSC单符号信道的容量的2倍。
3.4连续信道及其容量

对于连续信道，其输入和输出均为连续的，但从时间关系上来看，可以分为时间离散和时间连续两大类。当信道的输入和输出只能在特定的时刻变化，即时间为离散值时，称此信道为时间离散信道。当信道的输入和输出的取值是随时间变化的，即时间为连续值时，称此信道为连续信道或波形信道。下面分别介绍这两类信道及其容量。
3.4.1时间离散信道及其容量

连续信道的输入和输出为随机过程X(t)和Y(t)，设N(t)为随机噪声，那么简单的加性噪声信道模型可以表示为

Y(t)=X(t)+N(t)(3.4.1)


根据随机信号的采样定理，可将随机信号离散化。因此，时间离散信道的输入和输出序列可以分别表示为

X=［X1,X2,…,Xn］

Y=［Y1,Y2,…,Yn］(3.4.2)


如果信道转移概率满足

p(y|x)=p(y1|x1)p(y2|x2)…p(yn|xn)(3.4.3)

则称这种信道为无记忆连续信道。此时，可类同于离散信道情形，存在

I(X; Y)≤∑ni=1I(Xi; Yi)≤nC(3.4.4)

式中，信道容量C定义为C=maxp(x)I(X; Y)，p(x)为信道输入随机变量的概率密度分布。
为了简单且不失一般性，我们研究一维随机变量模型。图322为一维加性高斯信道模型示意图。


图322一维加性高斯信道模型


由于输入和干扰是相互独立的，其信道模型可以表示为

Y=X+N(3.4.5)

其中，X为输入随机变量，Y为输出随机变量，N为随机噪声，且X和N统计独立。现讨论这种最简单的时间离散加性噪声信道的容量，即讨论平均互信息量I(X; Y)的最大值。设随机变量X和N的概率密度分别为pX(x)和pN(z)，根据概率论可求得随机变量Y在X给定条件下的概率密度为

p(y|x)=pN(y-x)=pN(z)(3.4.6)


则有

Hc(Y|X)=-∫+∞-∞∫+∞-∞p(xy)logp(y|x)dxdy

=-∫+∞-∞∫+∞-∞pX(x)p(y|x)logp(y|x)dxdy

=-∫+∞-∞pN(x)∫+∞-∞pN(z)logpN(z)dzdx

=∫+∞-∞pX(x)Hc(N)dx=Hc(N)

其中，Hc(N)为信道噪声的熵，因此平均互信息量为

I(X; Y)=Hc(Y)-Hc(Y|X)=Hc(Y)-Hc(N)(3.4.7)


此式表明：  加性噪声信道的平均互信息量由输出熵和噪声熵所决定。若信道输入随机变量X和噪声
N分别是均值为0、方差为σ2X和σ2N的高斯分布，则随机变量Y也是均值为0、方差为σ2X+σ2N的高斯分布。所以

I(X; Y)=Hc(Y)-Hc(N)=12log［2πe(σ2X+σ2N)］-12log(2πeσ2N)

=12log1+σ2Xσ2N(3.4.8)



当σ2X/σ2N任意大时，I(X; Y)同样也可以任意大，通常定义SNR=σ2X/σ2N为信噪比。由于实际信号和噪声的能量是有限的，因此所研究的时间离散连续信道的容量是在功率受限条件下进行的。
输入信号平均功率不大于S=σ2X的时间离散信道容量定义为

C= supn,pn1nI(X; Y)(3.4.9)

式中，上限是对所有的n和所有的概率密度分布pn求得的。在无记忆平稳条件下，时间离散信道容量为

C= maxpnI(X; Y)(3.4.10)


平均功率受限的时间离散平稳加性高斯信道的互信息量为I(X; Y)=
Hc(Y)-Hc(N)。当信道输出Y在方差一定的情况下满足高斯分布时，其熵值Hc(Y)最大。由概率论可知，只有当X满足均值为0、方差为σ2X的高斯分布时，才能使得Y=X+N满足高斯分布，且Y的均值为0、方差为σ2X+σ2N。
由于高斯噪声的熵为Hc(N)=12log(2πeσ2N)且Hc(Y)=12log［2πe(σ2X+σ2N)］，故信道容量为

C=Hc(Y)-Hc(N)=12log1+σ2Xσ2N(3.4.11)


在更一般情形下，对于加性单个消息连续信道，当信道输出平均功率一定且受非正态平均功率大小为σ2的干扰时，其容量存在上、下界，即

12log1+Sσ2≤C≤12log2πeP-Hc(n)(3.4.12)

其中，S，P分别为信道输入、输出平均功率，Hc（n）为噪声的熵
,高斯信道容量是该容量的下界，有关上界的推导如下。
因为当信道输出的平均功率一定时，E［Y2］=P，则


C= maxp(x)I(X; Y)= maxp(x)［Hc(Y)-Hc(Y|X)］

= maxp(x)［Hc(Y)-Hc(n)］= maxq(y)Hc(Y)-Hc(n)

≤12log2πeP-Hc(n)

由此，当某种噪声给定时，Hc(n)已知且大于0，由限平均功率最大熵定理，不等式成立。其物理含义是对于某个特定的非正态迭加性干扰p(n)，一定存在输入信号X的某一个最佳的非正态分布p(x)，当且仅当在信道输出端y=x+n为一正态分布qN(y)时，才能达到其容量上限值，否则其容量必小于其上限值。
上下界结果表明，当噪声功率σ2给定后，高斯型干扰是最坏的干扰，此时其信道容量C最小。因此，在实际应用中，往往把干扰视为高斯分布，这样分析最坏的情况下的结论应是安全的。

另一方面，若信道的输入字符集有限，而输出为连续集，如信道为
二进制调制和加性高斯白噪声(AWGN)信道组合，则信道容量可表示为



C= maxp(x)∑ni=1∫+∞-∞p(y|xi)p(xi)logp(y|xi)p(y)dy(3.4.13)


其中，X={x1,x2,…,xn}，Y={-∞,+∞}，p(y|x)=p(n)。
【例313】对于二进制加性高斯白噪声信道p(y|x)=12πσe-(y-x)2σ2，X={x1，x2}={A，-A}，当
p(x)=(0.5,0.5)等概率输入时，I(X; Y)最大，求其信道容量。
解：  

C=12∫+∞-∞p(y|A)logp(y|A)p(y)dy+12∫+∞-∞p(y|-A)logp(y|-A)p(y)dy

=1212πσe-(y-A)2σ2+1212πσe-(y+A)2σ2=122πσe-(y-A)2σ2+e-(y+A)2σ2


其中，p(y|x)=p(y-x)=p(z)=12πσexp-z22σ2。

3.4.2时间连续信道及其容量
时间连续的信道也称作波形信道。在数学上，时间连续信道可用随机过程描述，则加性噪声信道的一般模型可表示为

Y(t)=X(t)+N(t)(3.4.14)

式中，X(t)、Y(t)和N(t)均为随机过程。由于信道的带宽总是有限的，根据随机信号采样定理，可以把一个时间连续的信道变换为时间离散的随机序列进行处理。设输入、噪声和输出随机序列分别为Xi，Ni，Yi，i=1，2，…，n，则有

Yi=Xi+Ni(3.4.15)


当信道干扰是加性白高斯噪声时，记为AWGN（Additive White Gaussian Channel，加性白高斯信道
）。一个受加性高斯白噪声干扰的带限波形信道的容量，已由香农在1948年正式定义为

C= limT→∞maxpx1TI(X; Y)(3.4.16)

在该定义指导下，下面讨论平均功率受限时间连续的加性高斯信道容量。

限频(W)、限时(T)的随机过程U(t，w)用取样函数可展开成有限个(2WT)样值序列。根据定理：  对于序列互信息，同时满足信源无记忆(组成序列信源的各变量xi独立)和信道无记忆，即
p(y|x)=∏Kk=1p(yi|xi)时，互信息表示为

I(X; Y)=∑ni=1I(Xi; Yi)(3.4.17)


按照信道容量的定义，得

C= maxp(x)I(X; Y)=∑ni=1maxp(x)I(Xi; Yi)=∑Ki=1Ci(3.4.18)



由于信源随机过程满足广义平稳性，则将输入X(t)，输出Y(t)和噪声波形N(t)展开成一个正交函数的完备集，可得到与展开式对应的一组系数{Xi}、{Yi}和{Ni}。利用展开式中的系数来描述信道特征，可获得

Yi=Xi+Ni(3.4.19)


其中，X(t)=∑iXiφi(t)，0≤t≤T，Xi=∫T0X(t)φi
(t)dt；  N(t)=∑iNiφi(t)，0≤t≤T，
Ni=∫T0N(t)φi(t)dt；  Yi=∫T0Y(t)φi(t)dt=Xi+Ni。于是，时间连续加性高斯白噪声信道可等效为一组独立并联信道，其结构示意图如图323所示。


图323加性高斯白噪声信道可等效为独立并联信道



若进一步假设，信道输入功率不超过S，即E∫T0X2(t)dt≤ST，因为{φi(t)}是标准正交系，所以∑iE［X2i］=∑iSi≤ST，其中Si=E［X2i］，则

I(Xn；  Yn)=∑ni=1∫+∞-∞∫+∞-∞p(yi|xi)p(xi)logp(yi|xi)p(yi)dyidxi

=∑ni=1［Hc(Yi)-Hc(Y|X)］(3.4.20)

其中，p(yi|xi)=1πN0e-(yi-xi)2/N0。

当{Xi}是统计独立、零均值的高斯随机变量时，即p(xi)=12πσxe-x2i/2σ2x，则

C= maxp(x)I(Xn; Yn)=∑ni=112log1+2σ2xN0=12nlog1+2σ2xN0

=WTlog1+2σ2xN0(3.4.21)


因为，输入功率Pav=1T∫T0E［x2(t)］dt=1T∑ni=1E(x2i)=nσ2xT，σ2x=TPavn=TPav2WT=Pav2W，则单位时间的信道容量为

Ct=1TC=Wlog1+PavWN0=Wlog(1+SNR)(比特/秒)(3.4.22)

式(3.4.22)称为香农公式。香农公式对实际通信系统有非常重要的意义，因为它给出了理想通信系统的极限信息传输率。

从前述内容可知，只有输入信号为功率受限的高斯白噪声时，其信道容量才能达到该极值。由于高斯白噪声信道是平均功率受限情况下最差信道，所以香农公式可用于确定非高斯信道容量的下限。
当W→∞时，取以2为底的对数，则

C= limW→∞Wlog(1+SNR)=1.443PavN0(3.4.23)

结果表明，当频带很宽或信噪比很低时，信道容量与信号功率与噪声谱密度成正比，这一比值是加性高斯噪声信道信息传输率的极限值。

【例314】已知一个高斯信道，输入信噪比SNR为3，频带W为3000赫兹，求最大传送信息率，若SNR＝15,求传送同样信息率所需要的带宽。
解：  SNR=Sσ2=3，W=3×103Hz，则

C=Wlog(1+SNR)=Wlog(1+3)=2W=6×103(比特/秒)

C=W′log(1+SNR′)=W′log(1+15)=4W′

W′=12W=1.5×103(赫兹)


下面对香农公式做深入讨论，以说明增加信道容量的途径。
(1) 由带限AWGN波形信道在平均功率受限条件下信道容量的基本公式可知，当带宽W不变时，信噪比SNR增大，信道容量C增大。信噪比和信道容量成对数关系。另外，降低噪声功率可以增加容量。当N0→0时，信道容量达到无穷大。

(2) 当输入信号功率一定时，增加信道带宽，可以增加容量，但到一定阶段后增加变得缓慢，最后趋于某个极限值。

这是因为当噪声为加性高斯白噪声时，随着W的增加，噪声功率N0W也随之增加。当W→∞，信道容量并不是达到无穷。因为x很小时，有ln(1+x)≈x。当带宽趋向无穷时，即PavWN0→0，则C∞=WPavWN0ln2=PavN0ln2=PavN0ln2，其中，C∞称为无限带宽AWGN波形信道的极限容量。图324给出了限带高斯白噪声加性信道的信道容量随带宽变化的示意图。随着带宽增加，信道容量增加，但带宽增加并不能无限地使信道容量增大。当带宽不受限制时，信道容量达到容量极限，即香农限值。



图324限带高斯白噪声加性信道的信道容量


进一步分析，假设每传输1比特信息所需的能量为Eb，以最大速率C∞传递信息，即Pav=CEb。由香农公式C=Wlog1+PavWN0，等号两边同除W，得CW=log1+CEbWN0，称为频带利用率。于是有EbN0=2CW-1CW。令C/W=1，即每赫兹(Hz)传输1比特，得到Eb/N0=1，即信噪比为1；  同样令C/W→∞，得到EbN0=2CWCW≈expCWln2-lnCW；  若C/W→0，则EbN0=limCW→02CW-1CW=ln2-1.6dB。这是信噪比可达到的理论极限，也称为香农限(Shannon Limit)，它是加性高斯噪声信道信息传输率的极限值，是一切编码方式所能达到的理论极限。即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB。但是，要获得可靠的通信时，信噪比的实际值常常要比这个值大得多。

(3) 当信道容量一定时，带宽W、传输时间T和信噪比SNR之间可以互换，其互换过程如图325所示。具体可表示成以下3种特征。


图325带宽W、传输时间T和信噪比SNR之间的互换关系



(i) 若传输时间T固定，则扩展信道带宽W可以降低信噪比的要求；  反之，带宽变小，就要增加信噪比。即可以通过带宽和信噪比的互换而保持信息传输率不变。例如，若要保持信道的信息传输率C=12×103
比特/秒，当信道的带宽W从4×103赫兹减小到3000赫兹，则根据香农公式，要求信噪比增加61%。可见，通过增加较少的带宽，就能节省较大的信噪比。因此，在实际通信系统中常采用调制解调方法实现带宽和信噪比的互换。在发送端，信号先经过编码和调制，使信道中传输的信号的带宽比原始消息的带宽加宽；  在接收端再进行相应的解调和译码，从而完成信息的传输。

(ii) 如果信噪比固定不变，则增加信道的带宽W就可以缩短传送时间T，换取传输时间的节省，或者花费较长的传输时间来换取频带的节省，实现频带和通信时间的互换。例如，为了能在窄带电缆信道中传送电视信号，往往用增加传送时间的办法来压缩电视信号的带宽。首先将电视信号高速地记录在录像带上，然后慢放这个磁带，慢到使输出频率降低到足以在窄带电缆信道中传送的程度。在接收端，将接收到的慢录像信号进行快放，恢复出原来的电视信号。

(iii) 如果保持频带不变，可以通过增加时间T来改善信噪比。这一原理已被应用于弱信号的接收技术中，即所谓的积累法。该方法是将重复多次收到的信号叠加起来。由于有用信号直接相加，而干扰则按功率相加，因此经积累相加后，信噪比得到改善，但所需接收时间也相应增长。

3.5信道容量计算及MATLAB程序实现
信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信道输入分布无关。对于不同的输入概率分布，互信息一定存在最大值，这个最大值就是信道容量。对于信道，一旦
信道传递概率确定，信道容量也就完全确定。尽管信道容量的定义中涉及信道输入概率分布，但信道容量是最大值，因此它的数值与输入概率分布无关。对于只有一个信源和一个信宿的单用户信道，信道容量是一个数，单位是
比特/秒或比特/符号。它代表每秒或每信道符号能传送的最大信息量，或者说小于这个数的信息率必能在此信道中无错误地被传送。我们在3.2节中给出了一般离散信道的容量迭代算法，现借助MATLAB语言，给出信道容量的计算。
3.5.1信道容量的MATLAB计算
【例315】二进制对称信道，它的输入符号X取值于{0,1}，输出符号Y取值于{0,1}，信道输入数r和信道输出数s均为2，即r=s=2，且a1=b1=0，a2=b2=1，传递概率为

p(b1|a1)=p(0|0)=1-p= p-，p(b2|a2)=p(1|1)=1-p= p-

p(b1|a2)=p(0|1)=p，p(b2|a1)=p(1|0)=p


求信道容量与p的关系。
解：  由于该信道为一对称信道，其容量为

C= maxp(x)I(X; Y)=1-H(p)


程序代码如下：  

C=0; 

p=0:0.01:1; 

C=1-［-p.*log2(p)-(1-p).*log2(1-p)］; 

plot(p,C,'--rs');  

title('容量'); 

xlabel('差错概率p'); 

ylabel('容量C'); 

运行结果如图326所示。


图326例315运行结果



【例316】对于一般DMC信道1/21/401/4

0100

0010

1/401/41/2，迭代精度为0.00001，求其容量。
解：  对于一般DMC信道的信道容量，可根据迭代公式

θnij=pnipji∑ipnipji




pn+1i=exp∑jpjilogθnij∑iexp∑jpjilogθnij

重复迭代得到。
程序代码如下：  

function exp3_16(P, e)

n=0; 

C=0; 

C_0=0; 

C_1=0; 

［r,s］=size(P); 

for i=1:r    

if(sum(P(i,:))~=1)%检测概率转移矩阵是否行和为1

error('概率转移矩阵输入有误!')        

return;         

end    

for j=1:s        

if(P(i,j)<0||P(i,j)>1)%检测概率转移矩阵是否为负值或大于1            

error('概率转移矩阵输入有误!')            

return;             

end        

end    

end

X=ones(1,r)/r; 

A=zeros(1,r); 

B=zeros(r,s); 

while(1)    

n=n+1;     

for i=1:r        

for j=1:s            

B(i,j)=log(P(i,j)/(X*P(:,j))+eps);             

end        

A(1,i)=exp(P(i,:)*B(i,:)');         

end    

C_0=log2(X*A');     

C_1=log2(max(A));     

if (abs(C_0-C_1)<e) %满足迭代终止条件停止迭代        

C=C_0;         

fprintf('迭代次数: n=%d＼n',n)        

fprintf('信道容量: C=%f比特/符号＼n',C)        

break;  %满足后输出结果并退出        

else        

X=(X.*A)/(X*A');         

continue;        

end    

end

测试程序1如下：  

pp=［1/2, 1/4, 0, 1/4; 

0, 1, 0, 0; 

0, 0, 1, 0; 

1/4, 0, 1/4, 1/2］; 

delta=0.00001; 

exp3_16(pp,delta)

运行结果如下：  
迭代次数: n=10
信道容量: C=1.321928（比特/符号）
当迭代精度减小时，迭代次数可减少，如delta=0.001，运行迭代次数减少。
测试程序2如下：  

function main()

clc; 

pp=［1/2, 1/4, 0, 1/4; 

0, 1, 0, 0; 

0, 0, 1, 0; 

1/4, 0, 1/4, 1/2］; 

delta=0.001; 

exp3_16(pp,delta)

运行结果如下：  
迭代次数: n=6
信道容量: C=1.321928（比特/符号）
3.5.2MIMO信道容量
无线通信、因特网技术和多媒体业务的飞速发展，需要高质量、高速率传输的新一代无线通信系统。增加信道容量的方法很多，如广设基站和拓宽频率范围等，其中多输入、多输出(MultipleInputMultipleOutput，MIMO)技术既能增加系统容量，也能增强系统性能。在不增加带宽和发射功率的前提下，发射端和接收端装配多个天线的无线通信系统，它的系统容量将随着发射端和接收端天线数目的最小值线性增加，且可显著地提高系统的频谱利用率。
图327是一般MIMO系统的结构示意图，其中发射端配有MT根天线，接收端配有MR根天线，总的发射功率为P。用户信息通过空时编码器构成并行的数列x1，x2，…，xMT；  通过衰落信道传送到接收端，获得接收信号y1，y2，…，yMR
，并输出到空时译码器译码。


图327MIMO系统结构示意图


假设信道的衰落类型是频率非选择性衰落，信道系数是均值为0、方差为1的复高斯随机变量。假设发射端并未提前知道信道的瞬时状态信息(Side Channel Information, SCI)，因此只能将所有的功率平均分配给所有的天线，所以每根发射天线的功率为P/MT，且每根接收天线上的噪声功率为σ2，于是每根接收天线上的信噪比(SNR)为

ζ=PT/σ2(3.5.1)

其中，PT为每根接收天线输出端的信号功率，
信道矩阵H为MR×MT复矩阵，H中的第ij个分量H(i,j)=hij表示第j根发送天线至第i根接收天线的信道衰落系数，则

H=h11…h1MT

hij

hMR1…hMRMT(3.5.2)


现考虑MIMO信道的容量问题。首先对最简单的情形进行讨论。若采用单根天线发射和单根天线接收，此时通信系统退化为单输入单输出(Single Input Single Output, SISO)系统。对于加性高斯白噪声SISO信道，MT=MR=1，信道矩阵H=H(1,1)=1，假设接收端的信噪比为ζ，则根据香农公式，该信道的归一化容量可以表示为

C=log(1+ζ)(3.5.3)

该容量的取值不受编码或者信号设计复杂性的限制，信噪比每增加3dB(2倍)时，信道容量增加1波特/赫兹。

然而，实际的无线信道是时变的，会受到衰落的影响。图328是时变信道容量取值的示意图。因为时变信道的信道状态可以看作一个随机变量，该随机变量的不同取值都可看作一个确定性信道，从而就对应着一个容量值，因此时变信道的瞬时容量也是

图328时变信道容量示意图
一个随机变量。对这些瞬时容量求概率平均得到各态历经容量，即各态历经容量C是所有容量样本的数学期望，它表示无线系统能够提供的平均传输速率。瞬时容量的概率分布函数决定了中断容量(Outage Capacity)，记作Coutage，当信道瞬时容量值小于某个指定容量值的概率，小于或等于某一给定的中断概率poutage时，该指定的信道容量即为中断容量。中断容量确保了传输高可靠性数据的传输速率。

如果用H表示信道系数的瞬时值，则信道容量可以表示为

C=log(1+ζ|H|2)(3.5.4)

此时，容量C是一个随机变量，可以通过计算其概率分布获得各态历经容量和中断容量值。
对于SISO的AWGN信道而言，其信道衰落系数是一个尺度因子，其输入输出是一个随机变量，当输入为零均值高斯随机变量时，信道具有最大互信息。而对于多天线AWGN信道而言，其信道需要用一个随机矩阵来表示，其输入输出是一个随机向量，因此有必要对随机向量的有关性质进行研究，以推导多天线信道的容量表达式，为此先给出一些定义和定理。

定义3.7：  复高斯随机向量：  由
高斯随机向量x的实部和虚部构成的2n维实随机向量
，x^=［Re(xT)Im(xT)］T，称为n维复高斯随机向量。
定义3.8：  循环对称复高斯随机向量：  如存在非负定的Hermitian(厄米)矩阵Q∈Cn×Cn(特征值不都小于零)，使得n维复高斯随机向量x所对应的2n维实随机向量x^=［Re(xT)Im(xT)］T的协方差满足

E(x^-E{x^})(x^-E{x^})H=12Re(Q)-Im(Q)

Im(Q)Re(Q))

则称x^为循环对称复高斯随机向量，
其中，Re（·）为取矩阵实部，
Im（·）为取矩阵虚部，（·）H为矩阵共轭。
定理3.4：  设x∈Cn为零均值n维循环复随机向量，且满足E{xxH}=Q，即E{xix*j}=Qij，(1≤i，j≤n)，则x的熵满足H(x)≤logdet(πeQ)，当且仅当x为循环对称复高斯分布时，等号成立。
从定理3.4可以得到：  当自相关矩阵给定，即平均功率受限时，零均值循环对称复数高斯随机向量的熵最大，此时其自相关矩阵就等同于其自协方差矩阵，这也是一般的容量分析文献中均考虑的是零均值信源的原因。另外，在通信系统其他方面的理论分析中也常常假定信号均值为零，其主要原因如下：  

(1) 均值是一个定值，在处理过程中只起到固定基准的作用，不反映相对变化量，不影响系统输入输出间的信息熵差；  
(2) 非零均值的信号会导致分析中出现非平稳的带通过程，导致分析过程复杂；  
(3) 零均值的信源频谱特性会更好一些；  
(4) 一般的通信信号平均功率都是受限的，当均值为零时，自相关函数就等同于自协方差函数，会利于更多表达的简便。
进一步，循环对称复高斯向量具有以下性质：  

(1) 若x∈Cn为零均值n维循环对称复高斯向量，E{xxH}=Q，则对任意的A∈Cn×n，y=Ax也服从循环对称高斯分布,且E{yyH}=AQAH；  

(2) 若x,y∈Cn为n维循环对称复高斯向量，且相互独立, E{xxH} =A，E{yyH}=B，则z=x+y也服从循环对称复高斯分布，且E{zzH}=A+B。
根据以上MIMO系统模型和基本知识，可推导出平坦衰落MIMO信道容量。下面分两种情形推导：  未知信道状态信息(CSI)和已知CSI情形。
1. 未知CSI情形

C= maxp(x)I(x; y)= maxp(x){H(y)-H(y|x)}(3.5.5)


因为噪声n与x相互独立，所以有

C= maxp(x)
{H(y)}-H(n)(3.5.6)


由以上定理和推论不难得出，当x为零均值循环对称复高斯随机向量时，式(3.5.6)达到最大值，此时，x、n和y均为循环对称复高斯随机向量。从而有


C= maxtr(Qx)≤Pt{logdet(πeQy)}-logdet(πeQn)

= maxtr(Qx)≤PtlogdetQyQn

= maxtr(Qx)≤PtlogdetHQxHH+QnQn


因为Qn=σ2nINr，则上式可进一步得

C= maxtr(Qx)≤PtlogdetINr+1σ2nHQxHH(3.5.7)


当H为时变信道时，其各态历经容量为

C= maxtr(Qx)≤PtEHlogdetINr+1σ2nHQxHH(3.5.8)


当发射端无CSI信息时，或者矩阵H服从独立同分布(i.i.d)瑞利衰落条件下，使上式最大的Qx为PtNtINt，从而有

C=EHlogdetINr+PtNtσ2nHHH

=EHlogdetINr+ρNtHHH，ρ=Ptσ2n(3.5.9)


因为det(I+AB)=det(I+BA)，所以C还可以表示为

C=EHlogdetINr+ρNtHHH(3.5.10)


因此，信道H的容量和信道HH的容量是相等的，这是因为根据Wishart矩阵的性质，HHH和HHH的非零特征值是一样的。进一步地，对于独立同分布瑞利衰落信道，当ρ→∞时，有

C=min(Nr，Nt)logρ+O(1)(3.5.11)

即对于i.i.d瑞利衰落MIMO信道，信道容量正比于收发两端的最小天线数目，且随之线性增长，是SISO信道容量的min(Nr，Nt)倍，这说明了MIMO信道能够提供巨大的信息传输速率。
2. 已知CSI情形
另一方面，MIMO信道可以看成r个SISO并行子信道的组合，所以可以直接由SISO容量公式来推导出MIMO信道容量。令第i个子信道上信号功率为Pti，子信道噪声功率均为σ2n，根据公式(3.5.4)有

C= max∑ri=1Pti≤Pt∑ri=1log1+λiPtiσ2n(3.5.12)


注意，式(3.5.7)和式(3.5.12)是等同的，但前者更具一般通用性，后者则更为直观。当发射端获知完全的CSI时，H就可以看作是一个确定性信道，此时可以根据“注水”原理来最优调配各个特征子信道上的信号发射功率，以使式(3.5.12)达到最大，即相当于求解如下的拉格朗日等式：  

Z=∑ri=1log1+λiPtiσ2n+ηPt-∑ri=1Pti(3.5.13)

其中，η为拉格朗日因子。由此可以得出满足功率约束条件下的最优功率分配为

Pti= μ-σ2nλi+(3.5.14)

其中，(·)+表示在μ-σ2nλi和0之间选择较大者。说明当信道质量太差时，必须置该子信道的输入功率为0，即不使用该发送天线。重新调整各天线的输入功率分配，直到各子信道输入功率不出现负值为止。在此基础上，获得相应确定性的信道容量为

C= ∑ri=1logλiμσ2n+(3.5.15)

其中，μ=1/ηln2为一常数。
由前面的分析易知，特征子信道的功率增益(对应信道奇异值)越大，噪声功率越小，则此子信道的“质量”越高，能够支持的传输速率也越高。所以，“注水”思想就是要尽可能地利用“质量”相对好一些的子信道，即要在这些子信道上分配较多的发射功率。同时，尽管分析了采用“注水”方法所能够达到的容量，但没有给出具体的收发信号处理过程。要想实现“注水”容量，必须在收发两端都对信号做一些处理，使输入输出间的信道关系表现为独立并行的子信道的组合，如图329所示。其所对应的数学描述为

x=Vd

y=Hx+n=UDVHVd+n=UDd+n

y～=UHy=UHUDd+UHn=Dd+n～(3.5.16)





图329“注水”信号处理


注意，式(3.5.16)中的基带数据向量d中各元素的幅值已经隐含了功率分配因子，且其自协方差矩阵Qd为一个对角矩阵。图330以3发2收MIMO系统为例，给出了更为直观清晰的处理过程(假设信道矩阵行满秩，即有2个特征子信道，而且很显然的是必有Pt3=0)。


图3303×2MIMO系统“注水”收发处理示意图


上面的分析和示意图可以很清晰地看出“注水”处理的过程：  传统阵列天线里面的波束成形是将一个独立数据流乘以权向量经由不同的天线元素发射出去，而由图330不难看出，MIMO系统的“注水”预处理是对多个数据流分别由不同的权向量加权后再合并到不同天线上发射出去，所以可以看作是一种“多波束成形”。通过这样一种“多波束成形”机制来对信道空间的不同方向进行选择，调整发射波形把能量对应到有利于传输的方向。也就是说，等效模型里面的每个特征子信道都对应着实际信道空间的一组方向的集合，而不同特征子信道是独立并行的，所以不同子信道所对应的方向集合是空间正交的。
【例317】对于2×2的MIMO系统，计算CSI未知和CSI已知两种情形下的容量。
解：  当CSI未知时，可通过式(3.5.10)计算各态历经容量；  若CSI已知时，可通过注水法计算各态历经容量，其实现程序代码如下：  

function output=exp3_17_1(SNR,M,corr,value,XPD,alpha,output) 

%SNR：  以dB为信噪比的单位

%M：  M×M系统的天线数目

%corr：  对于2×2的MIM0系统，corr=1表示相关，corr=0表示不相关

%value：  相关系数，取值范围为0~1

%若天线XPD被使用，则将XPD值置为1，否则置为0

%alpha：  XPD值

%output：  取erg时x表示遍历容量，取out时表示中断容量

SNR=10^(0.1*SNR);  

%10000次蒙特卡罗仿真

for K=1:10000

T=randn(M,M)+j*randn(M,M);  

T=0.707.*T;  

if corr 

T=［1 value; value 1］;  

T=chol(T);  

elseif XPD 

T=［1 alpha; alpha 1］;  

T=chol(T);  

end 

I=eye(M);  

a=(I+(SNR/M)*T*T');  

a=det(a);  

y(K)=log2(a);      

end 

［n1 x1］=hist(y,40) 

n1_N=n1/max(K);  

a=cumsum(n1_N);  

b=abs(x1);  

if output == 'erg' 

output=interp1q(a,b',0.5);    %遍历容量

elseif output == 'out' 

output=interp1q(a,b',0.1);    %中断容量

end  

end

function output=exp3_17_2(SNR,M) 

% SNR：  信噪比

% M：  M×M系统的天线数

%将遍历容量(本程序需要的结果)作为输出

snr=10^(0.1*SNR);  

for K=1:10000 

T=randn(M,M)+j*randn(M,M);  

T=0.707.*T;  

I=eye(M);  

eigen=eig(T*T');  %抽取特征值

gamma=zeros(M,1);  

r=M; %令秩等于天线数(满秩)

p=1; %初始计数

for i=1:r 

mu=getmu(r,SNR,T,p,M); %决定mu的值

gamma(i)=mu-(M/snr)*(1/eigen(i));  %计算gamma 

if gamma(i)<0 

gamma(i)=0; %若gamma < 0, 令gamma=0，即忽略它

p=p+1; %计数增加

mu=0; %清除寄存器

else 

mu=0;  %若gamma >0，将gamma存储并清除寄存器

end 

end 

a=I+(snr/M)*diag(gamma).*diag(eigen);  

a=det(a);  

y(K)=log2(a);     

end 

［n1 x1］=hist(y,40);  

n1_N=n1/max(K);  

a=cumsum(n1_N);  

b=abs(x1);  

output=interp1q(a,b',0.5);      

end

测试程序如下：  

M=2;  

corr=1;  

value=0.5;  

XPD=1;  

alpha=0.5;  

output = 'erg';  

%vary SNR through 20 dB 

SNR=0:1:20; %以dB为SNR的单位

temp2=［］;  

temp3=［］; 

for i=1:length(SNR) 

temp1(i)=exp3_17_1(SNR(i),M,corr,value,XPD,alpha,output); 

temp2=［temp2 temp1(i)］;  

temp1(i)=exp3_17_2(SNR(i),M);    

temp3=［temp3 temp1(i)］; 

temp1(i)=0;  

end 

plot(SNR,temp2,'b-^');  

hold on

plot(SNR,temp3,'r-^'); 

grid;  

xlabel('SNR');  

ylabel('容量(b/s)');  

title('Corr=0.5，XPD=0.5时，遍历容量与信噪比的关系');  

end

运行结果如图331所示。


图331例317运行结果


习题3
31证明：  准对称信道的信道容量也是在输入为等概率分布时达到,并求出信道容量的一般表达式。
32由(Q1，Q2， …，Qm)m个离散信道的和组成一个信道矩阵,该信道矩阵Q为

Q=Q10…0

0Q20



00…Qm


设Ci是第i个信道的信道容量。试证明：  该和信道的信道容量为

C=log∑i2Ci(比特/符号)


33设二进制对称信道的转移概率矩阵为2/31/3

1/32/3，回答下列问题：  
(1) 若p(x1)＝3/4，p(x2)＝1/4，求H(X)、H(X|Y)、H(Y|X)和I(X；  Y);
(2) 求该信道的信道容量及达到信道容量时的输入概率分布。
34设有一离散无记忆信源，其概率空间为

［Xp］T=x1x2

0.60.4

通过一干扰信道5616

3414，信道输出端的接收符号集为Y={y1，y2}。
试求：  
(1) 信源X中事件x1和x2分别含有的自信息；  
(2) 收到消息yj(j=1，2)后，获得的关于xi(i=1，2)的不确定度；  
(3) 信源X和信源Y的信息熵；  
(4) 信道疑义度H(X|Y)和噪声熵H(Y|X)；  
(5) 接收到消息Y后获得的平均互信息。
35信源发送端有两个符号，xi，i=1,2，p(x1)=a，每秒发出一个符号。接收端有3种符号yj，j=1,2,3，转移概率矩阵为P＝1/21/20

1/21/41/4。
(1) 计算接收端的平均不确定度；  
(2) 计算由于噪声产生的不确定度H(Y|X)；  
(3) 计算信道容量。
36若有一个离散Z信道，其信道转移概率如图332所示。
试求：  
(1) 最佳输入分布；  
(2) ε＝1/2时的信道容量；  
(3) 若将两个Z信道串联，求串联信道的转移概率；  
(4) 串联后的信道容量C2。
37求图333所示信道的信道容量及其最佳的输入概率分布，并分别求当ε=0和1/2时的信道容量C。



图332习题36图





图333习题37图


38设有一离散信道，其信道转移概率矩阵为

P=1-p-εp-ε2ε

p-ε1-p-ε2ε


试求信道容量C。
39若将n个二进制对称信道(BSC)级联，每个信道的错误转移概率为
pe，试证明级联后的信道可等效于一个二进制对称信道，其错误概率为12［1-(1-2pe)n］。并求解：  limn→∞I(Zi,Z0)，其中Zi、Z0分别为级联的输入与输出。

310离散无记忆加性噪声为Y

P=123

1/31/31/3，信道模型为Z=(X+Y) mod K，其中信道输入X∈{0,1,2,…,10}
，当K=11时,求该信道容量。

311发送端有3种等概符号(x1，x2，x3)，p(xi)=1/3，接收端收到3种符号(y1，y2，y3)，信道转移概率矩阵为P=0.50.30.2

0.40.30.3

0.10.90。试求：  
(1) 接收端收到一个符号后得到的信息量H(Y)；  
(2) 噪声熵H(Y|X)；  
(3) 当接收端收到一个符号y2时的错误概率；  
(4) 从接收端看的平均错误概率；  
(5) 从发送端看的平均错误概率；  
(6) 从转移矩阵中能否看出该信道的好坏？
(7) 发送端的H(X)和H(X|Y)。
312若已知两信道C1和C2的信道转移概率分别为

PC1=1/31/31/3

01/21/2，PC2=100

02/31/3

01/32/3


试求：  
(1) C3＝C1·C2时的信道转移概率，其中·为一般乘，并回答其容量是否发生变化。
(2) C4＝C2·C1时，它能否构成信道?为什么？
313电视图像由30万像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB，试计算在这些条件下传送电视的视频信号所需的带宽。
314若有一限频、限功率、白色高斯连续信道，它由两级串接功率放大器组成，其功率增益
分别为G1＝20dB，G2＝10dB，带宽为1兆赫兹，当信道输入为2毫瓦时，试求：  

(1) 信道噪声功率密度N0=2×10-6毫瓦/赫兹时的信道容量C；  
(2) 当信道输入G2，N0均不变，而带宽变为1.5兆赫兹时，若要获得相同的信道容量C，G1应为多少分贝
（设对数底为10）？

315一个平均功率受限制的连续信道，其通频带为1兆赫兹，信道上存在白色高斯噪声。
(1) 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；  
(2) 信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
(3) 若信道通频带减小为0.5兆赫兹时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值为多大？

316有一个二元对称信道，其信道矩阵如图334所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在该消息中p(0)=p(1)=1/2。问从信息传输的角度来考虑，10秒内能否将该消息序列无失真地传送完？


317离散无记忆加性噪声信道如图335所示，其输入随机变量X与噪声Y统计独立。X的取值为{0，1}，而Y的取值为{0，a}(a≥1)，又p(y=0)=p(y=a)=0.5。信道输出Z=X+Y(一般加法)。试求此信道的信道容量，以及达到信道容量的最佳输入分布。请注意：  信道容量依赖a的取值。

318有一加性噪声信道，输入符号X是离散的，取值为+1或-1，噪声N的概率密度函数为

pN(n)=18|n|≤4



0|n|>4

则其输出Y=X+N是一个连续变量。求该离散连续信道的容量。 
319设离散信道如图336所示，输入符号集为{0，1，2}，输出符号集为{0，1}，求其信道容量。



图334习题316图




图335习题317图




图336习题319图