第3 章 信道及其容量 信道(channel)顾名思义是通信的通道,具体而言,它是信号传输的媒介,是传送信息 的载体———信号所通过的通道,也是通信系统的重要部分。其任务是以信号作为载体来 传输和存储信息。在物理信道一定的情况下,人们总是希望传输的信息越多越好。这不 仅与物理信道本身的特性有关,还与载荷信息的信号形式和信源输出信号的统计特性有 关,因此研究信道的目的就是研究在仅仅限定信道特征(考虑干扰源特征)的情况下信道 上传输或存储的信息量的最大值,这个传输能力的极限称为信道容量(channelcapacity)。 这些研究依赖于对信道的问题建立一定的数学模型,并选择合理、简化的数学模型,从而 需要首先对信道通信问题建立简化的数学模型,选择必要的参数来描述信道的通信过程, 以此为基础来度量和分析各种类型的信道,计算在不同约束条件下的信道容量,并且分析 相应的特征。信道一般指的是物理信道,它一般是指依托物理媒介传输信息的通道,比如 电话线、光纤、同轴电缆和微波等。与之相对的还有逻辑信道,它一般是指人为定义的信 息传输信道。实际上许多时候提到的信道是广义的、非物理的,比如可以将信道编码、译 码和信道看成一个广义的信道,也可以将加密、解密和信源编码、解码当作信道。 3.1 信道的数学模型与分类 3.1.1 信道的分类 可以从不同的角度对信道进行分类。 1.根据输入输出随机信号的特点分类 ● 离散信道:输入、输出随机变量都取离散值。电报信道和数据信道属于这一类。 ● 连续信道:输入、输出随机变量都取连续值。电视和电话信道属于这一类。 ● 半离散/半连续信道:输入变量取离散值而输出变量取连续值,或反之。连续信道 加上数字调制器或数字解调器后就是这类信道。 在连续信道中,如果输入和输出的信号在时间和幅度上均连续,称为波形信道,可以 用随机过程来描述,一般将它分解为离散信道、时间或幅度之一上离散的连续信道、半离 散半连续信道来研究。 2.据输入输出随机变量个数分类 ● 单符号信道:输入和输出端都只用一个随机变量来表示。 88 信息论与编码（第 2 版） ● 多符号信道:输入和输出端用随机变量序列/随机矢量来表示。 3.根据信道用户的多少(输入输出个数)分类 ● 单用户信道:只有一个输入端和一个输出端,比如点对点的单向通信。注意,信息 只能向一个方向传递。 ● 多用户信道:至少有一端有两个以上的用户合用一个信道,并进行双向通信,比如 一般的通信网。 4.根据输入端和输出端的关联分类 ● 无反馈信道:无反馈就是输出端的信号不反馈到输入端,即输出信号对输入信号 没有影响。 ● 有反馈信道:输出信号通过一定途径反馈到输入端,致使输入端的信号发生变化 的信道。 5.根据信道参数与时间的关系分类 ● 固定参数(恒参、平稳)信道:信道的统计特征不随时间而变化,比如卫星通信信道 可以近似地认为是固定参数信道。 ● 时变参数(随参、非平稳,信道:信道的统计特征随时间而变化,比如 timevarying) 短波通信。 6.根据信道上有无干扰分类 ● 有干扰信道(noisydiscretechannel,discretechannelwithnoise):存在噪声或干 扰的信道,或者同时存在两者的信道。 ● 无干扰信道:不存在噪声和干扰或者可以忽略它们的信道。 7.根据信道有无记忆特性分类 ● 有记忆信道(channelwithmemory):某个时间的输出 y 不仅仅与相应时间的输 入 x 有关,还与前后的输入、输出相关。类似于马尔可夫信源,输出只与前面有限 个输入有关时,可称为有限记忆信道。当与前面无限个输入有关但关联性随间隔 加大而趋于零时,可称为渐近有记忆信道。条件概率是相同的函数时,称为平稳信 道,即变量的下标顺序推移时,条件概率的函数形式不变。 ● 无记忆信道(memoryleschannel):某个时间的输出 y 只与相应时间的输入 x 有 关,而与前后的输入、输出无关。 还可以根据载荷消息的介质和信号的形式不同进行分类。 实际上,有时候信道划分是人为的,比如图3-1中进行不同的划分。由于信号在不同 的位置进行不同的处理和转换,可以认为对应的信源和信宿是不一样的,所以可以得出不 同的信道类型。 其中: C1段信号一般是连续的,所以该段为连续信道、调制信道。 ● ● C2为离散信道、编码信道。 ● C3为半离散半连续信道。 ● C4为半连续半离散信道。 狭义的信道仅仅包括传输介质,而广义的信道可以包括传输介质、各种信号变换、编 第 3 章　信道及其容量 89 图3- 1 不同的信道划分 码和耦合装置等。通信系统中的广义信道通常也可分成两种:调制信道和编码信道。 (1)调制信道。调制信道是从研究调制与解调的基本问题出发而构成的,它的范围 是从调制器输出端到解调器输入端,从调制和解调的角度来看,我们只关心解调器输出的 信号形式和解调器输入信号与噪声的最终特性,并不关心信号的中间变化过程。因此,定 义调制信道对于研究调制与解调问题是方便和恰当的。 补充相关概念:调制即把数字信号转换成电话线上传输的模拟信号;解调即把模拟 信号转换成数字信号。将两种功能合并在一起的设备合称调制解调器,即通常所称的 “猫”(Modem )。它能把计算机的数字信号翻译成可沿普通电话线传送的脉冲信号,而这 些脉冲信号又可被线路另一端的另一个调制解调器接收,并译成计算机可理解的语言。 (2)编码信道。在数字通信系统中,如果仅着眼于编码和译码问题,则可得到另一种 广义信道———编码信道。这是因为从编码和译码的角度看,编码器的输出仍是某一数字 序列,而译码器的输入同样也是一个数字序列,它们在一般情况下是相同的数字序列。因 此,从编码器输出端到译码器输入端的所有转换器及传输媒介可用一个完成数字序列变 换的方框加以概括,此方框称为编码信道。 当然,广义信道是一个非常广泛、可以人为设定的概念,根据研究对象和关心问题的 不同,还可以定义其他形式的广义信道。 3.1.2 信道的数学模型与参数 实际中的信道一般存在噪声和干扰,使输出信号与输入信号之间没有固定的函数关 系,而只有统计依赖的关系。因此可以通过研究分析输入输出信号的统计特性来研究 信道。 首先来看一般信道的数学模型,这里采用一种“黑箱”法来操作。在通信系统模型中, 信道编码器和信道解码器之间相隔着许多其他部件,如调制解调、放大、滤波、均衡等器 件,以及各种物理信道。信道遭受各类噪声的干扰,使有用信息遭受损伤。从信道编码的 角度看,我们对信号在信道中具体如何传输的物理过程并不感兴趣,而仅对传输的结果感 兴趣:送入什么信号? 得到什么信号? 如何从得到的信号中恢复出送入的信号? 差错概 率是多少? 故将中间部分全部用信道来抽象,可以认为输入信源 X 经过信道变成Y。实 际信道的带宽总是有限的,所以输入 X 和输出 Y 总可以分解成随机序列来研究。为了简 90 信息论与编码（第 2 版） 化问题,以下只研究无反馈、固定参数的单用户离散信道。 如果要建立信道的模型,应该有哪些参数? 哪些是信道的固有参数? 哪些是需要涉 及的参数? 信道的基本特征包括输入、输出以及输入和输出之间的关系。可以假设输入矢量为 x1,xN ), =a1,a}; X =(x2,…,输入的矢量分量取自符号集 A {a2,…, r 输出矢量 Y = (y1,y2,…,输出的矢量分量取自符号集B={b2,…,}。它们 yN ), b1,bs 之间的统计关系 用条件概率p(来表示( 或者用xi 和yj ,我们可以等同看待这 Y|X) 有时候用小写 x 和y, 些不同写法,它们均为对 X 和 Y 所有可能情况的相应条件概率的一种整体表征), 在信息 论中称为转移概率或者传递概率(rniinpoailiy)。 1. 无干扰(无噪)信道的参数 tastorbbt 首先讨论简单的情形,即没有干扰(噪声)的信道。由于没有噪声,所以输入可以决定 输出,即存在确定的函数f,f(X)。 Y= p(y|x)的取值只有0和1。当y≠f(x)时,条件概率p(y|x)为0;当y=f(x)时, 条件概率p(为1。 transitionprobabilitymatri y|x) 对于离散信道,如果信道转移概率矩阵(x,简称转移矩阵 transitionmatriProbabilisticTransferMatriPTM)) (x), 偶尔称为概率转移矩阵(x,的每 行中只包含一个1,其余元素均为0,说明信道无干扰,称为无扰离散信道。 2. 单符号离散信道的参数 多个符号序列存在有记忆和无记忆之分,我们先从简单的单符号信道入手,由于是单 符号,无须考虑信道是否有记忆,可以认为是无记忆的。假设给定以下参数: 输入单符号变量X,取自符号集A={a2,…,r}。 a1, a 输出单符号变量Y,取自符号集B={b2,…,s} 。 b1,b 由于信道的干扰使输入符号 x 在传输中发生错误,这种错误是随机发生的,所以可 以用条件概率(转移概率) y|=y=x=i)p(ai 来表示噪声的干扰:p(x)P(bj|a=bj|)。 这一组条件概率称为信道的传递概率或转移概率,可以用来描述信道干扰影响的大 小。显然,对于任一给定的ai, 即Σp(=1。 条件概率累加满足归一性, bj|ai) 因此,一般简单的单符号离散信道可以用[ X ,P(y|x),Y]三者加以描述。当然,对 于输入和输出,不仅仅图3-2所示的单符号离散信道需要知道其取值范围,还希望有更加 确切的了解,而输入和输出本身是不确定的,所以只能用它们的随机变量描述。因此信道 的数学模型可以用随机变量及其概率分布[X,y|Y] 也可以用图32表示。 P(x),描述, 图3- 2 单符号离散信道 第3 章　信道及其容量 91 单符号离散信道的转移概率通常用信道转移概率矩阵表示: P = p(b1|a1) … p(bs|a1) . . p(b1|ar) … p(bs|ar) é . êêêê ù . úúúú (3-1) 一般为了简化,记pij=p(bj|ai),则信道转移概率矩阵可以表示为 P = p11 … p1s . . pr1 … prs é . êêêê ù . úúúú (3-2) 注意:偶见在少数资料中记为pij=p(bj|ai)。 这个转移概率矩阵完全描述了信道的统计特征,又称为信道矩阵,其中有些概率是信 道干扰引起的错误概率,有些概率是信道正确传输的概率。可以看到,信道矩阵P 既表 达了输入符号集A ={a1,a2,…,ar},又表达了输出符号集B ={b1,b2,…,bs},同时还 表达了输入与输出之间的传递概率关系。信道的输入和输出所取的符号集(取值范围)与 图3-3 二元对称信道 信道的性质有关系,但是输入X 和输出Y 的概率分布只 是一种伴随的参数,与信道的性质无关,信道矩阵本身已 经隐含了信道的输入输出的取值数(对应于矩阵的行数 和列数),因此,信道矩阵P 也可以作为单符号离散信道 的另一种数学模型的最简形式。 例3-1 二进制信道是最简单也是最常用的信道,当 r=s=2时即为二进制信道,如果信道还满足对称性,则 称为二元对称信道(BinarySymmetricalChannel,BSC), 如图3-3所示。 BSC信道的输入符号X 取值于{0,1},输出符号Y 取值于{0,1},r=s=2,a1=b1= 0,a2=b2=1,传递概率为: p(b1|a1)=p(0|0)=1-p =pp( b2|a2)=p(1|1)=1-p =pp( b1|a2)=p(0|1)=p p(b2|a1)=p(1|0)=p 其中,p(1|0)表示信道输入符号为0而接收到的符号为1的概率,p(0|1)表示信道输入 符号为1而接收到的符号为0的概率,它们都是单个符号传输发生错误的概率,通常用p 表示。而p(0|0)和p(1|1)是无错误传输的概率,通常用1-p=p- 表示。 显然,这些传递概率满足归一性,即满足下式: Σ2 j=1 P(bj|a1)=Σ2 j=1 P(bj|a2)=1 用矩阵来表示,即得二元对称信道的传递矩阵为: 0 01 1-p p é . êê 1 p 1-p ù . úú 92 信息论与编码（第 2 版） 3.有干扰无记忆离散信道的参数 信道无记忆指的是输出只与当前输入有关,而与非该时刻的输入信号和输出信号都 无关,它与信源的无记忆具有相似性,但是不同于信源的记忆性。这种情况使得问题得以 简化,无须采用矢量形式,只要分析单个符号的转移概率即可。 有干扰无记忆信道有以下性质: p(=y1y2…yN |x1x2…xN ) Y|X)p( yi|xi),(2,…,( =Πp(i=1, N )3-3) 假设信道编码器的输入是 n 元符号,即输入符号集由 n 个元素 X ={x1,x2,…,xn } 构成,而检测器的输出是 m 元符号,即信道输出符号集由 m 个元素Y={y1,y2,…,ym } 构成,且信道和调制过程是无记忆的,那么信道模型黑箱的输入输出特性可以用一组共 nm 个条件概率来描述: p ( Y =yj/ X =xi )≡p(yj/xi )。式中i=1,2,…,n;j=1, 2,…,m。这样的信道称为离散无记忆信道(DiscreteMemorylesChannel,DMC )。 p(y1,y2,…,/X1x1,…,)Π(n) p(xk ) Y1=Y2=Yn=yn=Xn=xn = Yk=yk/Xk = k=1 p(yj/xi)构成的矩阵为 P 矩阵(信道矩阵)。 在信道输入为xi 的条件下,由于干扰的存在,信道输出不是一个固定值,而是概率各 异的一组值,这种信道就称为有干扰离散信道。 4.有干扰有记忆离散信道的参数 有干扰有记忆离散信道是更一般的情况,实际上大多数的信道严格意义上说属于有 干扰有记忆信道。例如在数字信道中,由于信道滤波使频率特性不理想时会造成码字之 间的干扰。 在这一类信道中,某一瞬间的输出符号不但与对应时刻的输入符号有关,而且与此以 前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。由于有记忆 信道的转移概率计算涉及的参数较多,因此对它的分析和计算更加复杂。提倡采用以下 两种方法进行简化处理。 (1)将记忆性较强的 N 个符号当作一个 N 维矢量进行整体的处理,而各个矢量之间 当作无记忆的。 (2)把信源序列的转移概率当作马尔可夫链的形式,即假设信道为有限记忆的。以 上方法都是进行了简化和近似处理,会带来一定的误差。 5.离散输入连续输出信道 补充知识:加性噪声一般指热噪声、散弹噪声等,它们与信号的关系是相加,不管有 没有信号,噪声都存在。而将乘性噪声一般由信道不理想引起,它们与信号的关系是相 乘,信号在它在,信号不在它也就不在。一般通信中把加性随机性看成是系统的背景噪 声,而将乘性随机性看成是由系统的时变性(如衰落或者多普勒)或者非线性所造成的。 前者相对容易分析,而后者则比较困难。 与此相对应,就有加性信道等概念。 加性高斯白噪声在通信领域中指的是一种各频谱分量服从均匀分布(即白噪声)且幅 93 第 3 章　信道及其容量 度服从高斯分布的加性噪声信号。因其可加性、幅度服从高斯分布且为白噪声的一种而 得名。 由于该噪声在一定的条件下造成的影响最为显著,所以该噪声信号为一种便于分析 的理想噪声信号,实际的噪声信号往往只在某一频段内可以用高斯白噪声的特性来进行 近似处理。由于加性高斯白噪声信号易于分析和近似,因此在信号处理领域,对信号处理 系统(如滤波器、低噪音高频放大器、无线信号传输等)的噪声性能的简单分析(如信噪比 分析)中,一般可假设系统所产生的噪音或受到的噪音信号干扰在某频段或限制条件之下 是高斯白噪声。 ={x2,…, 假设信道输入符号选自一个有限的、离散的输入字符集Xx1,xn }, 而信道 输出未经量化(m→∞), 这时的译码器输出可以是实轴上的任意值,即y={-∞,∞}。 这样的信道模型为离散时间无记忆信道。 这类信道中最重要的一种是加性高斯白噪声(AWGN)信道,对它而言Y= X +G,式 中 G 是一个零均值、方差为σ2 的高斯随机变量, X =xi,1,2,…,n。当 X 给定后,Y i= 是一个均值为xi、方差为σ2 的高斯随机变量 。 2πσ p(y|xi) = 1e-(y-xi)2/2σ2 6. 波形信道的参数 t)} t)}, 信道的输入和输出都是随机过程{x(和{y(称为波形信道,通俗地说,其输入 和输出都是模拟波形,可以用随机过程来表述。在实际的模拟通信系统中,信道都是波形 信道。为了便于分析,我们将来自各部分的噪声和干扰都集中在一起,且认为都是信道加 入的。同时可以假设随机过程是平稳的。 因为实际波形信道的频宽总是受限的,在有限观察时间 T 内能满足限时限频条件。 因此可以根据取样定理把波形信道的输入x(和相应的输出是y(的平稳随机过程信 t) t) 号离散化成 N =2FT 个时间离散、取值连续的平稳随机序列 X =X1X2…XN 和 Y = Y1Y2…YN 。从而可以将波形信道问题转化为多维连续信道问题进行研究。信道转移概 率密度函数为: pY (=y1,yN |x1,xN ) y|x)pY (y2,…,x2,… , 显然以上转移概率密度函数也满足归一化条件 。 如果多维连续信道的转移概率密度函数满足独立性条件 : pY ( = ( y|x)Π(N) pY yl|xl) l= 则称此信道为连续无记忆信道,即在任一时刻输(1) 出变量只与对应时刻的输入变量有关系, 而与此前的输入输出无关,也与以后的输入变量无关。 反之,如果连续信道任何时刻的输出变量与其他时刻的输入输出变量有关,则称此信 道为连续有记忆信道。 根据噪声对信道中信号的作用不同,可以将噪声分为加性噪声和乘性噪声,即噪声与 输入信号是相加或相乘得到输出信号。一般分析较多的而且也容易从理论上进行分析的 是加性噪声信道。单个符号的加性噪声信道可以表示为y(t)=t)+n(式中的n( x(t), t) 94 信息论与编码（第 2 版） 是加性噪声过程的一个样本函数。一般在这种信道中,噪声和信号通常相互独立,所以: Y (x,pX,(n)=nx)n) 34) pX,y)=nx,pX,(pn (( 则 = y)(n)=(( n pY (y|x)pX, Y (x,= pX,x,pn n) 35) pX (x) pX (x) 即加性信道的传递概率密度函数就等于噪声的概率密度函数,这也进一步说明了信道的 传递概率是由于噪声所引起的。 以后还可以证明,在加性信道中条件熵是由于信道中的噪声引起的,它完全等于噪声 信源的熵,所以称为噪声熵。以后主要讨论的是加性信道,噪声源主要是高斯白噪声。 以上只讨论了一些常见信道模型的参数,并没有完全讨论所有类型的信道。在不同 的研究中,会用到不同的信道模型。 (1)设计和分析离散信道编码器和解码器的性能,从工程角度出发,最常用的是 DMC 信道模型或其简化形式即BSC 信道模型。 (2)如果要分析性能的理论极限,则多选用离散输入、连续输出信道模型。 (3)如果要设计和分析数字调制器和解调器的性能,则可采用连续的波形信道模型。 本书的主题是信道编码和解码,因此主要使用DMC 信道模型。 3.信道疑义度与平均互信息量 2 在第2章中,提过平均互信息量和疑义度的概念。信道通信的目的就是要给接收者 提供信息,然而信道的干扰使得在实际的通信中不可能实现完全可靠的传输。接收者能 够得到的是信宿Y,而他所希望知道的却是信源X,鉴于 X 和 Y 之间的统计相关性,他可 以试图通过 Y 获得关于 X 的信息,因此这涉及已知 Y 的时候 X 的不确定度,即信道的疑 义度,以及 Y 和 X 之间的平均互信息量。 疑义度和平均互信息量是研究信道的重要参数,相关的分析和性质参见第2章,在此 不赘述。 3.信息传输率与信道容量 3 信道的容量实际上是由香农信道编码定理所证明的,本书的后面会有相关的证明,在 这里经过简单的分析直接给出定义。 信道的输入 X ∈{x2,…,}, y2,…,}。如果信 xi,…,输出 Y ∈{yj ,…, 源熵为 H (X), 希望在信道输出端接收的信息量就是 H (X), 由于干扰的存在,一般只能 接收到I( X ; X ; 这是由平均互信息性 x1,xn y1,ym Y)。输出端 Y 往往只能获得关于输入 X 的部分信息, 质决定的:I(Y)≤ H (X)。 将信道中平均每个符号所能传送的信息量定义为信道的信息传输率R,它的值就是 平均互信息量,即R=I(X;= H (- H (X|Y)比特/符号,后面的单位是以2为底的 Y)X) 对数计算所对应的结果,如果是其他底,应该换成相应的det(以10 为底)、nat(以e为底)等, 第 3 章　信道及其容量 95 每个符号是因为这是单个符号的互信息量,有时候也用symbol或channeluse代替。 I(X;是信源无条件概率p(和信道转移概率p(yj|的二元函数, Y) xi) xi) 当信道特 性p(固定后, X ;随信源概率分布p( I(X;xxi), yj|xi) I(Y) xi)的变化而变化。调整p(在接收 端就能获得不同的信息量。由平均互信息的性质已知,Y)是p(i)的∩型上凸函数, 因此总能找到一种概率分布p(xi)( 即某一种信源), 使信道所能传送的信息率为最大。信 道容量C(hneaaiy) R=maI(Y)( 单位是比特/信道符号。 ( canlcpct是指在信道中最大的信息传输率, C=max x X ;比特/信道符号) 36) p(xi)p(xi) 单位时间的信道容量Ct 是指若信道平均传输一个符号需要 t 秒钟,则单位时间的信 道容量为: Y)(( Ct= 1maxI( X ;b/s) 3-7) tp(xi) Ct 实际上是信道的最大信息传输速率,单位为比特/秒(b/s)。有时候Ct 仍称为信 道容量。 单位时间的信息传输速率:若信道平均传输一个符号需要 t 秒钟,则信息传输速率 为Rt=I(X;t(b/s)。有时候其单位也可以用每秒千比特数(kb/s)或每秒兆比特数 Y)/ (Mb/s)来表示(此处 k 和 M 分别为1000 和1000000,而不是涉及计算机存储器容量时 的1024 和1048576 )。 信道容量是信道的固有属性,但是传输的信息量能否让互信息量达到最大值则是由 信源决定的,因此信源对信道的匹配也是一个影响因素。平均互信息量达到最大值时,信 源的概率分布称为最佳输入分布。 在讨论信息传输率的时候,也常常会涉及波特率(Baudrate)和比特率的概念,区别如下: 比特率是指二进制数码流的信息传输速率,单位是b/s或bps,它表示每秒传输多少 个二进制元素(每一个二进制的元素称为比特)。 波特率又称调制速率,是针对模拟数据信号传输过程中从调制解调器输出的调制信 号每秒钟载波调制状态改变的数值,即单位时间内载波参数变化的次数。它是对信号调 制环节传输速率的一种度量,是对符号(而不是信息)传输速率的一种度量,1波特即指每 秒传输1个符号。单位“波特”本身就已经是代表每秒的调制数,以“波特每秒”(Baudper second)为单位是一种常见的错误。 比特率是对信息传输速率(传信率)的度量。波特率可以理解为单位时间内传输码元 符号的个数(传符号率), 通过不同的调制方法可以在一个码元上负载多个比特信息。波 特率与比特率的关系为:比特率=波特率×单个调制状态对应的二进制位数。 3.离散单个符号信道的信道容量 4 前面讨论了多种信道,本节从最简单的单个符号的离散信道开始来分析信道容量。 通过计算单个符号信道的信道容量,可以为序列信道的信道容量计算提供一定的简化 方法。 96 信息论与编码（第2 版） 3.4.1 特殊离散信道 下面介绍3种最简单的理想信道。 1.具有一一对应关系的无噪信道 具有一一对应的无噪信道如图3-4所示。 图3-4 一一对应的无噪信道 对应的信道矩阵是: 1 0 0 … 0 0 1 0 … 0 0 0 1 … 0 . . . . . 0 0 0 … 1 é . êêêêêêê ù . úúúúúúú 0 … 0 0 1 0 … 0 1 0 0 … 1 0 0 . . . . . 1 … 0 0 0 é . êêêêêêê ù . úúúúúúú 因为信道矩阵中所有元素均是1或0,X 和Y 有确定的对应关系。已知X 后Y 没有 不确定性,噪声熵H (Y|X )=0。反之,收到Y 后,X 也不存在不确定性,信道疑义度(损 失熵)H (X|Y)=0。 这是一种无噪无损信道,故有: I(X ;Y)=H (X )=H (Y) 当信源呈等概率分布时,具有一一对应确定关系的无噪信道达到信道容量。 2.具有扩展性能的离散有噪声信道 p(y1/x1) p(y2/x1) p(y3/x1) 0 0 0 0 0 0 0 0 p(y4/x2) p(y5/x2) p(y6/x2) 0 0 0 0 0 0 0 0 p(y7/x3) p(y8/x3) é . êêêê ù . úúúú 虽然信道矩阵中的元素不全是1或0,但由于每列中只有一个非零元素,已知Y 后, X 不再有任何不确定度,信道疑义度H (X|Y)=0。 I(X ;Y)=H (X )-H (X |Y)=H (X ) 例如,输出端收到y2 后可以确定输入端发送的是x1,收到y7 后可以确定输入端发 送的是x3,等等,如图3-5所示。 信道容量为: C =max p(xi) I(X ;Y)=max p(xi) H (X )=log2n 与一一对应信道不同的是,此时输入端符号熵小于输出端符号熵,即H (X )0 条件的i; Y)C, I(xi;对于所有满足p(=0条件的i 。 Y)≤C, xi) 当信道平均互信息量达到信道容量时,输入符号概率集{p(xi)} 中每一个符号xi 对 输出端 Y 提供相同的互信息量,只是概率为零的符号除外。以上约束条件只是给出充分 必要条件,但是并没有给出具体值,因此还需要采用计算机迭代的方法求解,一般情况下, 最佳输入概率分布不一定是唯一的。 3.离散无记忆序列信道的信道容量 5 现实中信道的输入输出一般不是单个符号,往往是空间和(或)时间上离散的随机序 列,或者可近似认为信道是无记忆的信道,但是更多的却是明显有记忆的,即序列的转移 概率之间存在相关性。离散序列信道的类型划分如图3-9所示。 其中最简单的是平稳无记忆信道;有记忆信道一般较为复杂,有时会简化为平稳的、 记忆有限的信道。 定义3- 1 多符号离散信源矢量X=X1X2…XL 在 L 个不同时刻分别通过单符号离 散信道{Y|X),则在输出端出现相应的随机序列Y= X,P(Y}, Y|X), Y1Y2…YL ,这样形成一个 新的信道,称为离散序列信道{ X ,P(Y}。由于新信道相当于单符号离散信道在 L 个不同时刻连续运用了 L 次,所以也称为单符号离散信道{P(Y}的 L 次扩展。 X ,Y|X), 如图3-10 所示,设信源矢量 X 的每一个随机变量分量Xl(l=1,2,…,L)均取自并 a1,ai ( 取遍于信道的输入符号集{a2,…, n }, 则信源共有nL 个不同的元素ai=1,2,…, nL )。则输出矢量 Y 是由 L 个随机变量分量组成的输出序列Y=Y1Y2…YL ,它的每一个 随机变量Yl 均取自并取遍于信道的输出符号集{b2,…,}。 b1,bm 图3- 9 离散序列信道分类图3-10 离散序列信道模型 第3 章　信道及其容量1 03 序列信道的信道容量计算较为复杂,这里考虑较为简单的序列信道。 对于一般的单个符号的离散无记忆信道,其信道容量的计算需附加许多条件,并通过 复杂的迭代运算才能求得。不过一旦得到了离散无记忆信道的信道容量,它的序列信道 的信道容量就较容易求得。 设离散无记忆序列信道的输入符号取自集合A ={a1,a2,…,ar},输出符号集合为 B={b1,b2,…,bs},假设信道输入序列为x = (x1,x2,…,xN ),输出序列为y = (y1, y2,…,yN )。由于无记忆,可得相应转移条件概率为p(y|x)=ΠN i=1 p(yi|xi)。 信道矩阵为: [P]= p11 p12 … p1s p21 p22 … p2s . . . pr1 pr2 … prs é . êêêêê ù . úúúúú 且满足: Σs j=1 pij =1 i=1,2,…,r 则此离散无记忆序列信道的数学模型可用图3-11表示。 图3-11 离散无记忆序列信道模型 离散无记忆序列信道的输入矢量X 的可能取值有rN 个,而输出矢量Y 的可能取值 有sN 个。其信道转移矩阵为: [π]= π11 π12 … π1sN π21 π22 … π2sN . . . πrN1 πrN2 … πrNsN é . êêêêê ù . úúúúú 且满足矩阵每一行的元素之和为1,即ΣsN h=1 πkh =1 (k =1,2,…,rN )。 πkh =p(βh/.k)=p(bh1bh2 …bhN/ak1ak2 …akN ) =ΠN i=1 p(bhi/aki ) (ki =1,2,…,rN ,hi =1,2,…,sN ) 计算平均互信息量: 104 信息论与编码（第 2 版） Y)XN ;= H ( H (= H ( H ( I(X;=I(YN )XN )-XN |YN )YN )-YN |XN ) βh )op(..lp( k ) =p(.klgk|βh )=p(kβh )ogβh|. Σ p(.Σ p( XN ,YNXN , YN 对于离散序列信道,可以证明: k ) βh ) (1)当信道无记忆时,有: N I( X ;I(Yi) i=1 上式在信源无记忆时等号成立。 Y)≤Σ Xi; 理解:如果信源有记忆,信道传递的信息必然存在冗余度,这会使得整体传递的信息 量减少。 要最有效地传输信息,以上结论对于我们有什么启示? 在编码中有什么应用? (2)当输入矢量的各个分量独立(信道不一定无记忆)时,有: N I( X ;I(Yi) i=1 该公式在信道无记忆时等号成立。 Y)≥Σ Xi; 理解:如果信道有记忆,那么在输出端接收到的符号序列中,后面收到的符号带有前 面符号的信息,可以将相关的符号作为一个整体编码来获取关于发送的序列的信息,这种 整体编码使得我们可以获得关于输入符号序列的更多信息。 这对于纠错编码有什么启示 ? 如果信道无记忆,并且输入矢量的各个分量独立(信源也无记忆)时有 : Y)I(Yi) I(X;= Σ(N) Xi; = 对于离散无记忆序列信道,信道容量等于(i) 平(1) 均互信息量的最大值,所以: N =max X;=max I(Yi) = max Xi;=Ci CN p(x) I(Y)p(x)Σ Xi;Σ(N) p(xi) I(Yi)Σ(N) i=1 i=1 i=1 离散无记忆序列(多符号)信道的信道容量等于单个符号的信道容量之和 。 当信道平稳时,单个符号信道的平均互信息量为 : I(X;I(Y1)X2;…XN ; Y)=X1;=I(Y2) = =I(YN ) C1=C2= =CN … 进而 : Yi) X ; Σ(N) I(Xi;=NI(Y) i=1 可得,如果信道无记忆且平稳时: N ;=NI(Y) I( X ;Y)≤ΣI(XiYi)X; i=1 当信源无记忆时等式成立,根据信道容量定义有: CN = Σ(N) Ci=NC1 (3-14) i=1 所以离散平稳无记忆的 N 个符号的序列信道的信道容量等于单个符号的信道容量 第3 章　信道及其容量1 05 的N 倍。信源无记忆时,信息传输率才能达到信道容量。 最典型的离散无记忆序列信道就是扩展信道,即将单个符号的信道进行N 次扩展。 这里定义离散无记忆N 次扩展信道满足信道无记忆而且平稳的特点。 式(3-14)说明离散无记忆N 次扩展信道的信道容量等于原单符号离散信道的信道 容量的N 倍,且只有当输入信源是无记忆的并且每一输入变量Xi 的分布p(x)各自达到 最佳分布时,才能达到这个信道容量值NC。 离散无记忆N 次扩展信道的定义没有明确给定,不同教材和文献似乎存在一定的不 同之处。但是可以这样认为:首先,对于参数的制约应该仅限于信道的参数,即转移概 率,而不涉及信源是否有记忆等;其次,由于是扩展,所以序列的各个位置的“单”信道应该 是相同的,所以是平稳的;最后,由于是扩展,所以信道无记忆。 改变名称不会改变事物的本质,对一个事物赋予什么样的名称是无所谓的,扩展信道 也是如此。但是,通信的双方应该对于一个名称的所指有统一的认识和约定,这样才不会 带来歧义。类似的问题还有许多专业术语存在多种中文译名。有时候为了美化或者丑化 一个事物而对其改名,但是实际上,只要人们对这个事物真正有了解,改名也只有短期效 果,长期而言是无济于事的。 例3-7 BSC信道的转移概率矩阵为P= 1-p p p 1-p é . êê ù . úú ,求BSC二次扩展信道。 解:二次扩展的转移概率如下: p(00/00)=p(0/0)p(0/0)=(1-p)2 p(01/00)=p(0/0)p(1/0)=p(1-p) 对应的转移概率矩阵如下: P = (1-p)2 p(1-p) p(1-p) p2 p(1-p) (1-p)2 p2 p(1-p) p(1-p) p2 (1-p)2 p(1-p) p2 p(1-p) p(1-p) (1-p)2 é . êêêêê ù . úúúúú 这是一个对称DMC信道,当输入序列等概率分布时,容量为: C2 =log4-H [(1-p)2,p(1-p),p(1-p),p2] 图3-12 串联信道 3.6 串联信道和并联信道的信道容量 3.6.1 串联信道及其信道容量 实际的通信中,常常会出现串联(cascade)信道,比如,联网的计算机就是由一段段信 道连接起来,最终连接到对应的服务器,从 而可以访问服务器。整个互联网就是一个 由许多信道连接起来的如图3-12所示的串 联信道的网络。 一般来说,两个串联的离散信道可以等 1 06 信息论与编码（第2 版） 价为一个总的离散信道。 假设有如图3-12所示的串联信道。 根据概率论有: p(z|x)=ΣY p(y|x)p(z|xy) (x ∈X ,y ∈Y,z ∈Z) 如果有: p(z|xy)=p(z|y) (对所有x、y、z) 则有: p(z|x)=ΣY p(y|x)p(z|y) (x ∈X ,y ∈Y,z ∈Z) 可得: I(X ;Z)≤I(X ;Y) I(X ;Z)≤I(Y;Z) 所以信道串联后,根据信道容量定义,信道作为一个整体的信道容量等于输入和输出 的最大的平均互信息量。 可以证明整体的信道容量C12不大于其中任一段的信道容量,即C12≤C1 且C12≤ C2,所以这里体现了消息的非增性。串接的信道越多,其信道容量可能会越小;当串接信 道数无限大时,信道容量就有可能趋于零。 例3-8 现在有两个信道串联,转移概率矩阵分别为: 13 13 13 0 12 12 é . êêêêê ù . úúúúú 和 1 0 0 0 23 13 0 13 23 é . êêêêêê ù . úúúúúú 根据: p(z|x)=ΣY p(y|x)p(z|y) p(ck |ai)=Σj p(bj|ai)p(ck |bj) p(z|x)= 13 13 13 0 12 12 é . êêêêê ù . úúúúú × 1 0 0 0 23 13 0 13 23 é . êêêêêê ù . úúúúúú = 13 13 13 0 12 12 é . êêêêê ù . úúúúú p(y|x)=p(z|x)对所有x、y、z 都成立,所以: I(X ;Z)=I(X ;Y) 信道容量不变。 注意:串联信道的整体转移概率矩阵实际上等于所有转移概率矩阵依次相乘,即 P总=P1P2…PN =ΠN i=1 Pi