第3章信道与信道容量 本章学习重点：  信道的分类及参数表示。  信道容量的定义。  离散单个符号信道的定义及其容量计算方法。  离散序列信道的定义及其容量计算。  连续信道的定义及其容量计算。 3.1知识点 3.1.1信道和信道的数学模型 1. 信道 信道是传输信息的通道，其任务是以信号方式传输信息、存储信息，研究信道就是研究信道中理论上能够传输或存储的最大信息量，即信道的容量问题。 2. 信道的数学模型 设信道的输入矢量X=(X1，X2，…，Xi，…)，Xi∈A={a1，a2，…，an}； 输出矢量Y=(Y1，Y2，…，Yj，…)，Yj∈B={b1，b2，…，bm}，通常用条件概率p(Y|X)(又称信道的转移概率)描述信道输入、输出信号之间统计的依赖关系。 1) 无干扰信道 信道的输出与输入之间有确定的关系Y=f(X)，转移概率 p(Y|X)=1，Y=f(X) 0，Y≠f(X) 2) 有干扰无记忆信道 信道的输出与输入之间没有确定的关系，转移概率满足 p(Y|X)=p(y1|x1)p(y2|x2)…p(yL|xL) 按输入、输出符号数目，又可将这类信道分为 (1) 二进制离散信道； (2) 离散无记忆信道； (3) 离散输入、连续输出信道； (4) 波形信道。 3) 有干扰有记忆信道 实际的数字信道中，信道特性不理想，存在码间干扰，当前输出不仅与当前的输入有关，还与以前的输入有关，处理较困难。 3. 信道容量的定义 信道能传送的最大信息量，即信道容量(channel capacity)，定义为 C= maxp(ai)I(X;Y) 信息传输率： R=I(X;Y) 信息传输速率： Rt=1tI(X;Y) 3.1.2离散单符号信道及其容量 离散单符号信道中，信道输入X∈A={a1，a2，…，an}，输出Y∈B={b1，b2，…，bm}。 1. 对称离散无记忆信道容量的计算 信道的转移概率矩阵行对称，列也对称，即离散无记忆信道( discrete memoryless channel，DMC)输入对称，输出也对称。输入分布等概率时，对称DMC信道的容量为 C=logm-H(Y|ai)=logm+∑mj=1pijlogpij 式中，m为输出符号集中符号的个数； p(bj|ai)简写为pij。 2. 准对称DMC信道 准对称DMC信道输入对称、输出不对称，此时信道容量 C≤logm+∑mj=1pijlogpij。可将准对称的转移概率矩阵划分成若干互不相交的对称的子集，当输入分布等概率时，得到信道容量 C=logn-H(p′1，p′2，…，p′s)-∑rk=1NklogMk 式中，n是输入符号个数； p′1，p′2，…，p′s是转移概率矩阵P中一行的元素，即H(p ′1，p′2，…，p′s)=H(Y|ai)； Nk是第k个子矩阵中行元素之和，Nk=∑jp(bj|ai)； Mk是第k个子矩阵中列元素之和，Mk=∑ip(bj|ai)； r是互不相交的子集个数。 3.1.3离散序列信道及其容量 离散序列信道中，序列长度为L，输入X=(X1，X2，…，XL)，输出Y=(Y1，Y2，…，YL)。 如果信道无记忆，则I(X;Y)≤∑Ll=1I(Xl;Yl)。 如果输入矢量X中的各个分量相互独立，则I(X;Y)≥∑Ll=1I(Xl;Yl)。 如果输入矢量X独立且信道无记忆，则等号成立。当输入矢量达到最佳分布时， C= maxPXI(X;Y)= maxPX∑Ll=1I(Xl;Yl)=∑Ll=1maxPXI(Xl;Yl)=∑Ll=1C（l） 当信道平稳时，CL=LC1。 3.1.4连续信道及其容量 1. 连续单符号加性信道 输入x、输出y都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为σ2的加性高斯噪声，概率密度函数为pn(n)=N(0，σ2)。由于y=x+n，pY(y)=N(0，P)，所以pX(x)=N(0，S)，即当信道输入是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 C=12log2πeP-12log2πeσ2=12log 1+Sσ2 2. 多维无记忆加性连续信道 输入输出都是随机序列，由于信道无记忆，因此L维加性无记忆高斯加性信道可等价成L个独立的并联高斯加性信道。当且仅当输入矢量X中的各分量统计独立，且各分量均为均值为零、方差为Pl的高斯变量时，信道容量 C= maxp(x)I(X;Y)=∑Ll=112log1+Plσ2lbit/L维自由度 式中，σ2l是第l个单元时刻高斯噪声的方差。 3. 限时限频限功率加性高斯白噪信道 输入信号的平均功率限制为Ps、噪声双边功率谱密度为N02、带宽为W的带限加性高斯白噪信道T秒内的信道容量 C=WTlog1+PsN0Wbit/L维 则每秒信道容量 Ct=Wlog1+PsN0Wbit/s 这就是著名的香农公式。 当W→∞时， C∞=PsN0log2ebit/s 上式说明，即使带宽无限，信道容量仍是有限的。当C∞=1bit/s时，PsN0=-1.6dB，即带宽不受限制时，传送1bit信息，信噪比最低只需-1.6dB，这就是香农限，是加性高斯噪声信道信息传输率的极限值，也是一切编码方式所能达到的理论极限。实际应用中，若要保证可靠通信，信噪比往往比这个值大得多。 3.2习题详解 3.2.1选择题 1. 在数字与数据通信中，通信的可靠性指标一般用()来表示； 在连续波形信道中，通信的可靠性指标一般用()来表示。 A. 平均误码率B. 误比特率C. 信噪比D. 平均信噪比 解答： A、C 2. 在有扰离散信道上传输符号1和0，传输过程中每100个符号发生一个错传的符号。已知p(0)=0.5，p(1)=0.5，信道每秒内允许传输1000个符号，则该信道的信道容量为()。 A. 230bit/sB. 460bit/sC. 840bit/sD. 920bit/s 解答： D。此时信道的转移概率矩阵P=0.990.01 0.010.99，信道容量C=1-H(0.99，0.01)=0.92bit/符号。 3. 某一待传输的图片约含2.25×106个像素，为了很好地描述图片，每个像素有12个亮度电平值。假设所有这些亮度电平等概率出现，设信道中信噪比为30dB，则用3分钟传送一张图片时所需的信道带宽约为()。 A. 8.96kHzB. 4.48kHzC. 2.48kHzD. 2.4kHz 解答： B。这幅图片包含的信息量为2.25×106×log212bit，3分钟传送，则信息传输速率为2.25×106×log212180bit/s=4.447×104bit/s。由香农公式，可求得所需带宽W=4.47×104log2(1+1000)=4.48×103Hz。 4. 当EbN0=-1.6dB时，归一化信道容量CW=()。我们把-1.6dB称作香农限，是一切编码方式所能达到的理论极限。 A. -1B. +1C. 0D. 不确定 解答： C。达到香农限时，归一化信道容量等于0。 5. 已知一个DMC信道的转移概率矩阵为0.50.30.2 0.30.50.2，则该信道的信道容量为()。 A. 0.036bit/符号B. 0.072bit/符号 C. 0.01bit/符号D. 0.032bit/符号 解答： A。利用准对称DMC信道的容量计算方法计算。 6. 二元删除信道的转移概率矩阵为0.50.50 00.50.5，则该信道的信道容量为()。 A. 0bit/符号B. 0.5bit/符号C. 0.05bit/符号D. 1bit/符号 解答： B。 7. 信道的输入集X的概率分布PX=1434，信道的转移概率矩阵为12120 01323，则输出集Y的概率分布为()。 A. PY=183812B. PY=131313 C. PY=143818D. PY=381218 解答： A。由pX和p(y|x)计算联合概率p(xy)，再计算出pY。 8. 离散无损信道指的是熵()为0的信道。 A. H(Y|X)B. H(XY)C. H(X|Y)D. H(Y) 解答： C。H(X|Y)是损失熵，可看作由于信道上存在干扰和噪声而损失的平均信息量。 9. 离散无噪信道指的是熵()为0的信道。 A. H(Y|X)B. H(XY)C. H(X|Y)D. H(Y) 解答： A。H(Y|X)可看作唯一地确定信道噪声所需要的平均信息量，又称噪声熵。 10. 某DMC信道的转移概率矩阵P=0010 1000 0001 0100，该信道的信道容量为()。 A. 2bit/符号B. 1.585bit/符号 C. 1bit/符号D. 0bit/符号 解答： A。直接使用对称信道的信道容量计算公式。 11. 信道是传递消息的通道，又是传送物理信号的设施。研究信道主要是研究()问题。 A. 物理信号的形式B. 信道容量的大小 C. 输入信号的概率分布D. 信道的转移函数矩阵 解答： B。 12. 描述信道的三要素是()。 A. 信道输入、信道输出、信道的转移概率矩阵 B. 信道输入的统计概率空间、信道输出的统计概率空间、信道本身的统计特性 C. 信道输入的符号空间、信道输出的符号空间、信道的转移概率矩阵 D. 信道的输入符号集、信道的输出符号集、信道本身的统计特性 解答： B。 13. 无干扰信道指的是信道的概率特性满足()。 A. p(x|y)=0B. p(xy)=0 C. p(y|x)=0D. 以上都不对 解答： C。 14. 根据香农公式，信道容量一定时，用信噪比换带宽，是()的基本原理。 A. 现代扩频通信B. 多进制多电平多维星座调制通信方式 C. 弱信号累积接收D. 脉冲编码调制 解答： B。由香农公式知，信道容量一定时，信噪比和带宽可以互换。信噪比大，所需带宽小，提高频带利用率。 15. 根据香农公式，信道容量一定时，用带宽换信噪比，是()的基本原理。 A. 现代扩频通信B. 多进制多电平多维星座调制通信方式 C. 弱信号累积接收D. 脉冲编码调制 解答： A。由香农公式知，信道容量一定时，信噪比和带宽可以互换。若有较大的带宽，则在保持信号功率不变的情况下，可允许较大的噪声，这是无线扩频系统的基本原理。 16. 下面关于均匀信道的说法，不正确的是()。 A. 均匀信道是对称信道的一个特例B. 输入符号数和输出符号数相等 C. 信道矩阵的各行元素之和为1D. 信道矩阵的各列元素之和不一定为1 解答： D。均匀信道是强对称信道，其信道矩阵的行列都对称，行列的元素和都为1。 17. 独立并联信道的信道容量C与各个独立信道的信道容量Ci之间的关系为()。 A. C≤∑Ni=1CiB. C<∑Ni=1Ci C. C>∑Ni=1CiD. C≥∑Ni=1Ci 解答： A。根据多维无记忆加性连续信道及其容量的计算可以得到。 3.2.2判断题 1. 无记忆离散消息序列信道，其容量C≥各个单个消息信道容量之和。 解答： 错。信道无记忆，则I(X;Y)≤∑Ll=1I(Xl;Yl)，此时C≤各个单个消息信道容量之和。 2. 信道容量C是I(X;Y)关于p(xi)的条件极大值。 解答： 对。 3. 信道无失真传递信息的条件是信息率小于信道容量。 解答： 对。 4. 高斯加性信道的信道容量只与信道的信噪比有关。 解答： 错。高斯加性信道的信道容量与信道的带宽和信噪比有关。 5. 离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 解答： 错。离散无噪信道信道H(Y|X)=0，信道容量C=maxH(Y)=log2m。 6. 对于固定的信源分布，平均互信息量是信道转移概率的下凸函数。 解答： 对。 7. 信道的输出仅与信道当前的输入有关，而与过去输入无关的信道称为无记忆信道。 解答： 对。 8. 香农公式应用在波形信道中。 解答： 对。 9. 对于准对称DMC信道，当p(yj)=1m时，可达到信道容量C。 解答： 对。 10. 只要信息传输率R大于信道容量C，就不可能存在任何一种信道编码能使差错概率任意小。 解答： 对。 11. 信道容量随信源概率分布的变化而变化。 解答： 错。信道容量只与信道自身的特性有关，不会随信源概率分布的变化而变化。 12. 由香农公式C=Wlog(1+SNR)可看出，随着带宽无限增加，信道容量也可无限增大。 解答： 错。带宽无限增加后，噪声功率也无限增大，信道容量不会无限增大。 13. 为了使系统的信息传输率R尽量接近信道容量C，应使信道输入符号尽量等概率分布，信道尽量对称均衡。 解答： 对。 14. 达到信道容量的最佳输入概率分布是唯一的。 解答： 错。互信息仅仅与信道转移概率和输出概率分布有关，达到信道容量的输入概率分布不是唯一的，但输出概率分布是唯一的。 15. 独立并联信道的信道容量在输入相互独立时等于各个独立信道的信道容量之和。 解答： 对。 3.2.3填空题 1. 按照信道的物理性质对信道进行分类，可分为恒参信道和。 解答： 变参信道。 2. 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是。 解答： C=Wlog(1+SNR)bit/s。 3. 条件熵H(Y|X)称为噪声熵，它反映了信道中。 解答： 噪声源的不确定性。 4. 连续单符号加性信道中，平均功率受限的条件下，信道危害最大。 解答： 高斯白噪声。 5. 设有两个二元信道，它们的信道转移概率矩阵分别为P1=100 001和P2=12 1316 161213 131612，则信道1的信道容量C1=，信道2的信道容量C2=。两信道串联后，得到的信道转移概率矩阵为，此时的信道容量C=。 解答： 1bit/符号； 0.126bit/符号； P=121316 131612； 0.09bit/符号。 6. 已知一个高斯信道，信噪比为3，频带为3kHz，此信道最大信息传输速率为，若信噪比提高到15，则理论上传送同样的信息率所需的频带为。 解答： 6000bit/s； 1.5kHz。 3.2.4名词解释 1. 信道容量 解答： 对于某特定信道，若转移概率p(bj|ai)已经确定，则互信息就是关于输入符号概率分布p(ai)的上凸函数，也就是能找到某种概率分布p(ai)，使I(X;Y)达到最大，该最大值就是信道所能传送的最大信息量，即信道容量。 2. 离散输入对称信道 解答： 若一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，则称此类信道为离散输入对称信道。 3. 离散输出对称信道 解答： 若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道。 4. 限时限频限功率信道 解答： 限时限频限功率信道指的是输入信号时间限时tB、限频fm和平均功率PS受限下的波形信道。 5. 高斯白噪声加性信道 解答： 高斯白噪声加性波形信道是指加入信道的噪声是限带的加性高斯白噪声，其均值为0，功率谱密度为N02。 6. 香农限 解答： 带限AWGN波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式C=Wlog(1+SNR)bit/s； 当归一化信道容量CW趋近于零时，也即信道完全丧失了通信能力，此时EbN0为-1.6dB，称作香农限，是一切编码方式所能达到的理论极限。 7. 频带利用率 解答： CtW=log(1+SNR)bit/(s·Hz)称为单位频带的信息传输率，即频带利用率。该值越大，信道就利用得越充分。 3.2.5问答题 1. 什么是损失熵、噪声熵？什么是无损信道和确定信道？如信道的转移概率矩阵大小为r×s，则无损信道和确定信道的信道容量分别为多少？ 解答： 条件熵H(X|Y)称为信道的损失熵或疑义度，损失熵为0的信道就是无损信道，信道容量为logr。条件熵H(Y|X)称为信道的噪声熵，噪声熵为0的信道就是确定信道，信道容量为logs。 2. 解释信息传输速率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的转移概率之间分别有什么关系。 解答： 信息传输速率指的是每秒传输信息的量； 信道容量是平均互信息在某个输入概率分布下的最大值； 平均互信息取得最大值时的输入概率分布为最佳分布。平均互信息是关于信源概率分布的上凸函数，存在最大值； 是信道转移概率的下凸函数，存在最小值。 3. 写出二进制均匀信道的转移概率矩阵，并分析输入和输出符号数n=2时的信道容量C。 解答： 二进制均匀信道的转移概率矩阵P=1-εεn-1…εn-1 εn-11-ε…εn-1 ……… εn-1εn-1…1-ε，信道的输入和输出符号个数相同，都为n。可以看出，矩阵的对角线元素即为信道的正确传输概率，错误概率ε被对称地均分给n-1个输出符号。因此，此信道为强对称信道，信道容量为 C=logn-H1-ε，εn-1，…，εn-1 当n=2时，即为二进制均匀信道(BSC)，信道容量C=log2-H(1-ε，ε)=1-H(ε)。 3.2.6计算题 1. 设二进制对称信道的概率转移矩阵为2313 1323，(1)若p(x0)=34，p(x1)=14，求H(X)、H(X|Y)、H(Y|X)和I(X;Y)。(2)求该信道的信道容量及达到信道容量时的输入概率分布。 解答： (1) 输入X的熵H(X)=H34，14=0.815bit/符号。 联合概率矩阵p(xiyj)=1214 11216，由p(yj)=∑ip(xiyj)可得 p(y0)=712，p(y1)=512 条件熵 H(Y|X)=∑XY-p(xiyj)log2p(yj|xi)=∑XY-p(xi)p(yj|xi)log2p(yj|xi) =0.918bit/符号 由p(xi|yj)=p(xiyj)p(yj)可得p(xi|yj)=6735 1725，则 H(X|Y)=∑-p(xiyj)log2p(xi|yj)=0.749bit/符号 I(X;Y)=∑p(xiyj)log2p(xi|yj)p(xi)=0.066bit/符号 (2) 信道容量C=log22-H23，13=1-0.918=0.082bit/符号。 若要达到信道容量，那么输入应为等概率分布，即p(x0)=p(x1)=0.5。 注： 本题考查的知识点是2.2.3节互信息和3.2.2节对称离散无记忆信道。题解为： (1)求互信息； (2)互信息的条件极值即为信道容量。 2. 某信源发送端发出2个符号{x1，x2}，p(x1)=a，每秒发出一个符号。接收端有3种符号{y1，y2，y3}，信道的转移概率矩阵P=12120 121414。(1)计算接收端的平均不确定度； (2)计算由于噪声产生的不确定度H(Y|X)； (3)计算该信道的信道容量。 解答： (1) 由p(xiyj)=p(yj|xi)p(xi)求出p(xiyj)，再由p(yj)=∑ip(xiyj)求出p(yj)。 接收端的平均不确定度 H(Y)=∑-p(yj)log2p(yj)=32-1+a4log(1+a)-1-a4log(1-a)bit/符号 (2) 由于噪声产生的不确定度 H(Y|X)=∑-p(xiyj)log2p(yj|xi)=∑-p(xi)p(yj|xi)log2p(yj|xi) =3-a2bit/符号 (3) 由信道容量的定义可得 C=I(X;Y）max=max［H(Y)-H(Y|X)］ =max12a-1+a4log2(1+a)-1-a4log2(1-a) 由I(X;Y)a=0，可得a=0.6，则信道容量C=0.16bit/符号。 图3.1题3的图 注： 本题考查的知识点是2.2.3节互信息和3.2.2节对称离散无记忆信道。题解为： (1)求互信息； (2)互信息的条件极值即为信道容量。 3. 已知信道的转移概率如图3.1所示，输入X等概率分布，求平均互信息。 解答： 先求各个概率。 由题意，信道的转移概率矩阵［p(yj|xi)］=0.980.02 0.20.8，X等概率分布，则联合概率矩阵［p(xiyj)］=0.490.01 0.10.4。 由p(yj)=∑ip(xiyj)，可得p(y0)=0.49+0.1=0.59，p(y1)=0.01+0.4=0.41。 再求熵： H(X)=H(0.5，0.5)=1bit/符号 H(Y)=H(0.59，0.41)=0.977bit/符号 H(XY)=-∑XYp(xiyj)logp(xiyj)=1.43bit/符号 则I(X;Y)=H(X)+H(Y)-H(XY)=1+0.977-1.43=0.547bit/符号。 注： 本题考查的知识点是2.2.3节互信息和3.2节离散单个符号信道及其容量。题解为(1)求联合概率和输出符号概率分布； (2)根据熵和互信息的关系求互信息。 4. 求下列两个信道的信道容量，并加以比较。 (1) 1-p-εp-ε2ε p-ε1-p-ε2ε (2) 1-p-εp-ε2ε0 p-ε1-p-ε02ε 解答： (1) 将1-p-εp-ε2ε p-ε1-p-ε2ε分解，可得1-p-εp-ε p-ε1-p-ε和2ε 2ε。利用公式C=logn-H(p′1，p′2，…，p′s)-∑kNklogMk，可以求出该信道的信道容量 C1=1-H(1-p-ε，p-ε，2ε)-［2εlog4ε+(1-2ε)log(1-2ε)］ (2) 将1-p-εp-ε2ε0 p-ε1-p-ε02ε分解，可得1-p-εp-ε p-ε1-p-ε和2ε0 02ε，利用公式C=logn-H(p′1，p′2，…，p′s)-∑kNklogMk可以求出该信道的信道容量 C2=1-H(1-p-ε，p-ε，2ε)-［2εlog2ε+(1-2ε)log(1-2ε)］ 由于0<ε<0.5，所以C12，输出Y=X+N是一个半连续变量。试求： (1)该半连续信道的容量C； (2)若在输出端接一检测器也作为信道的一部分，其输出为Z，当Y>1，则Z=1； -1≤Y≤1，则Z=0； Y<-1，则Z=-1。这样就成为一离散信道，求它的容量，并问加入检测器以后，是否带来信息损失？ 解答： (1) 条件熵H(Y|X)=-∑Xp(x)∫p(y|x)logp(y|x)dy 噪声熵-∫+∞-∞p(n)logp(n)dn=-∫2-214log14dn=2bit 由I(X;Y)=H(Y)-H(Y|X)可知要使信道达到信道容量，须使H(Y)取最大值。 设X的分布为(离散信道)X P=+1-1 p1-p 则Y的分布为(半连续信道) 14(1-p)，Y∈［-3，-1］ 14，Y∈［-1，1］ p4，Y∈［1，3］ 所以 H(Y)=-∫-1-314(1-p)log14(1-p)dy- ∫1-114log14dy-∫3114plog14pdy =-12(1-p)log14(1-p)-12log14-12plog14p =2+12H(p，1-p) 由熵的上凸性质可知，当p=12时，H(Y)取极大值H(Y)max=2.5bit/符号，则信道容量C=2.5-2=0.5bit/符号。 (2) 由Z的判决规则可知Z的概率分布为 p(z=1)=p(y≥1)=∫3114pdy=12p p(z=0)=p(-1≤y<1)=∫1-114dy=12 p(z=-1)=p(-3≤y<-1)=∫-1-314(1-p)dy=12(1-p) 即Z的概率空间ZP=z=-1z=0z=1 12(1-p)12p2 由Z与X之间的关系，得检测器(看成信道)的转移概率矩阵为12120 01212，是准对称信道，可得其信道容量 C=log22-H12，12，0- 12log21-12 log212 =0.5bit/符号，此时p=12。 可见，加入检测器后，信道容量不变，没有带来信息损失。 注： 本题考查的知识点是3.2节离散单个符号信道及其容量和3.4节连续信道及其容量。题解： (1)本题是一道综合题，考查半连续信道和信道的级联； (2)紧扣定义，分析和求解信道容量。 20. 设有一离散无记忆加性噪声信道，其输入随机变量X与噪声Y统计独立。X∈{0，1}，Y∈{0，a}，其中，a≥1。又p(y=0)=p(y=a)=12。信道输出Z=X+Y(一般加法)。试求此信道的信道容量，以及达到信道容量的最佳输入分布(提示 ： 信道容量取决于a的取值，可分成a=1和a>1两种情况来讨论)。 解答： 因为X和Y统计独立，则p(z|x)= p(y)，z=x+y 0，z≠x+y 。此时，I(X;Z)=H(Z)-H(Y)。 当a=1时，Z的样本空间为A={0，1，2}。 由于X和Y统计独立且Y等概率分布，则a=1时，信道的转移概率矩阵P1=12120 01212。此信道为准对称信道，输入等概率分布时，达到信道容量，即 C1=H(Z)-H(Y)=32-1=0.5bit/符号 此时，p(z=0)=14，p(z=1)=12，p(z=2)=14。 同理，当a>1时，Z的样本空间为A={0，1，a，1+a}，此时信道的转移概率矩阵P2=120120 012012。由P2可以看出，此时信道是无损信道，输入等概率分布时，达到信道容量，其信道容量C2=maxH(X)=1bit/符号。 注： 本题考查的知识点是3.2节离散单个符号信道及其容量。题解： 紧扣定义，分析输入输出的关系，得到转移概率矩阵，计算离散无记忆加性噪声信道的容量。 21. 设某语音信号{x(t)}，其最高频率为4kHz，经取样、量化后编成等长码，设每个样本的分层数为128。(1)求此语音信号的信息传输速率是多少(bit/s)； (2)把这一语音信号送入一噪声功率谱为5×10-6mW/Hz，带宽为4kHz的高斯信道中传输，试求无差错传输时需要的最小输入功率。 解答： (1) 考虑每一层是等概率分布，则平均每个采样点含有的信息量为I=log128=7bit/样点。 因为最高频率为4kHz，取样速率为8kHz，所以此语音信号的信息传输速率R=8×103×7=5.6×104bit/s。 (2) 无差错传输时需要满足R≤C=Wlog1+PN0W，则 5.6×104=4×103×log1+P5×10-9×4×103 所以，无差错传输时需要的最小输入功率P=(214-1)×2×10-5=0.33W。 注： 本题考查的知识点是3.4.3节限时限频限功率加性高斯白噪信道。题解： 香农公式。 22. 设有一离散级联信道如图3.4所示，求： (1)输入X与输出Y间的信道容量C1； (2)Y与Z间的信道容量C2； (3)X与Z间的信道容量C3及输入概率分布。 解答： (1) X和Y间的信道为对称信道，则C1=1-H(0.8)=0.28bit/符号。 (2) Y和Z间的信道为准对称信道，则 C2=H38，38，14-H34，14=1.56-0.81=0.75bit/符号 (3) X和Z间的信道也为准对称信道，则 C3=H38，38，14-H34×0.8，34×0.2，14=1.56-1.35=0.21bit/符号 此时，信源输入概率为p(x0)=p(x1)=12。 注： 本题考查的知识点是级联信道的容量计算方法。 23. 考虑如图3.5所示的退化广播信道，试： (1)求从X到Y1的信道容量； (2)求从X到Y2的信道容量。 图3.4题22的图 图3.5题23的图 解答： (1) 由图3.5可得信道(1)的转移概率矩阵P1=1-a1a10 0a11-a1，为准对称信道，则信道(1)的信道容量C1=(1-a1)bit/符号，此时p(0)=p(1)=12。 (2) 信道(2)的转移概率矩阵P2=1-a2a20 010 0a21-a2，则信道(2)的信道容量： C2=(1-a1-a2+a1a2)bit/符号，此时p(0)=p(1)=12。 注： 本题考查的知识点是3.2.3节准对称离散无记忆信道。题解： 准对称DMC的信道容量计算公式。 图3.6题24的图 24. 如图3.6所示的高斯白噪加性信道，输入信号X1，X2，噪声信号Z1，Z2，输出信号Y=X1+Z1+X2+Z2。输入和噪声均为相互独立的零均值的高斯随机变量，功率分别为P1，P2和N1，N2。 (1) 求I(X1;Y)和I(X2;Y)； (2) 求I(X1X2;Y)； (3) 当输入信号的总功率受限P1+P2≤P时，求I(X1;Y)+I(X2;Y)的最大值。 解答： (1) Y-X1=X2+Z1+Z2是3个独立高斯随机变量的和，因此 H(Y|X1)=H(Y-X1)=12log22πe(P2+N1+N2) H(Y)=12log22πe(P1+P2+N1+N2) H(Y)-H(Y|X1)=12log2P1+P2+N1+N2P2+N1+N2=12log21+P1P2+N1+N2 I(X2;Y)=H(Y)-H(Y|X2)=12log21+P2P1+N1+N2 (2) 当给定X1，X2的值x1和x2以后，Y的条件概率密度是均值为(x1+x2)、方差为(N1+N2)的正态分布。 H(Y|X1X2)=H(Y-X1-X2)=12log22πe(N1+N2) I(X1X2;Y)=H(Y)-H(Y|X1X2)=12log2P1+P2+N1+N2N1+N2 =12log21+P1+P2N1+N2 (3) I(X1;Y)和I(X2;Y)可以写成： I(X1;Y)=12log2PP2+N1+N2 I(X2;Y)=12log2PP1+N1+N2 式中，P=P1+P2+N1+N2=var(Y)是输出总功率，因此 I(X1;Y)+I(X2;Y)=12log2PP2+N1+N2+12log2PP1+N1+N2 =12log2P2(P2+N1+N2)(P1+N1+N2) 要使I(X1;Y)+I(X2;Y)得到最大值，(P2+N1+N2)(P1+N1+N2)的值须最小。因为这两个因子的和是个常数，所以当这两个因子相等时，(P2+N1+N2)(P1+N1+N2)最大，而这两个因子相差越大时，(P2+N1+N2)(P1+N1+N2)越小。即当P1=P或P2=P时，I(X1;Y)+I(X2;Y)得到最大值。 注： 本题考查的知识点是2.2.2节离散信源熵、2.2.3节互信息、2.2.4节数据处理中信息的变化、3.4.3节限时限频限功率加性高斯白噪信道。题解： (1)级联信道的输入输出分析； (2)高斯白噪加性信道的输入输出分析； (3)互信息的计算； (4)信道容量的定义。 25. 积信道。有两个离散无记忆信道{X1，P(Y1|X1)，Y1}和{X2，P(Y2|X2)，Y2}，信道容量分别为C1和C2。两个信道同时分别输入X1和X2，输出Y1和Y2，这两个信道组成一个新的信道，求这个新信道的容量。 解答： 由于这两个离散无记忆信道相互独立，因此p(Y1Y2|X1X2)=p(Y1|X1)p(Y2|X2)，则 I(X1X2;Y1Y2)=H(Y1Y2)-H(Y1Y2|X1X2) =H(Y1Y2)-H(Y1|X1X2)-H(Y2|X1X2Y1) =H(Y1Y2)-H(Y1|X1)-H(Y2|X2) ≤H(Y1)+H(Y2)-H(Y1|X1)-H(Y2|X2) =I(X1;Y1)+I(X2;Y2) 当X1和X2相互独立时，Y1和Y2相互独立，因此 C= maxp(x1x2)I(X1X2;Y1Y2)≤ maxp(x1)I(X1;Y1)+ maxp(x2)I(X2;Y2)=C1+C2 当p(X1X2)=p*(X1)p*(X2)时等号成立，p*(X1)和p*(X2)是使这两个信道分别达到信道容量C1和C2的最佳输入分布。 注： 本题考查的知识点是3.3节离散序列信道及其容量。题解： (1)积信道的信道容量计算； (2)根据信道容量的定义计算。 26. 有记忆信道的信道容量高于无记忆信道的信道容量。考虑一个二元对称信道Yi=XiZi，表示模2加，Xi，Yi∈{0，1}。假定Z1，Z2，…，Zn有相同的边缘概率分布 p(Zi=1)=p，p(Zi=0)=1-p，但是并不相互独立，但是Zn与输入Xn相互独立。如果记C=1-H(p，1-p)，证明： maxp(x1x2…xn)I(X1X2…Xn;Y1Y2…Yn)≥nC。 证明： 由题意，Zi=1，p 0，1-p。由于Yi=XiZi，且Z1，Z2，…，Zn并不相互独立，所以 I(X1…Xn;Y1…Yn)=H(X1…Xn)-H(X1…Xn|Y1…Yn) =H(X1…Xn)-H(Z1…Zn|Y1…Yn) ≥H(X1…Xn)-H(Z1…Zn) ≥H(X1…Xn)-∑ni=1H(Zi) 将这个离散有记忆信道的信道容量记为C(n)，当{Xi}为独立同分布且为p=12的贝努利分布时，有 C(n)≥H(X1…Xn)-∑ni=1H(Zi)=n-nH(p)=n［1-H(p)］=nC 从直觉上来说，由于噪声样值之间的相关性减小了有效噪声，使得有记忆信道的信道容量高于无记忆信道的信道容量。 注： 本题考查的知识点是3.1.3节信道容量的定义。题解： (1)H(Z1…Zn)小于或等于Zi独立时的熵∑ni=1H(Zi)； (2)利用信道容量的定义分析有记忆信道的信道容量。