第5章
CHAPTER 5


连续信源和连续信道





5.1连续信源
5.1.1连续信源的数学模型

在2.5节我们讲过，对连续随机变量来讲，最基本的统计量是概率密度函数。因此连续信源用概率密度函数来描述。对随机变量X存在函数p(x)，且


p(x)≥0
∫+∞－∞p(x)dx=1


则p(x)就是该连续信源的概率密度函数。

F(x)=P(X＜x)=∫x－∞p(α)dα

称为概率分布函数。
因此，简单连续信源的模型写为

X
P=x
p(x)∫+∞－∞p(x)dx=1

5.1.2连续信源的熵和互信息
在2.5节我们已经讲过，连续信源的熵是由绝对熵和微分熵两部分构成的，绝对熵为一无穷大项，通常将其舍去，在不引起混淆的情况下，将微分熵简称为连续信源的熵。
【定义51】对于连续信源X，其概率密度函数为p(x)，则该连续信源的熵为

H(X)=－∫+∞－∞p(x)logp(x)dx(51)

连续信源的熵与离散信源的熵具有类似的形式，但其意义不相同。连续信源的熵与离散信源的熵相比，去掉了一个无穷大项。连续信源的不确定性本应该为无穷大，但是由于实际应用中常常关心的是熵之间的差值，无穷大项可相互抵消，故这样定义连续信源的熵不会影响讨论所关心的互信息量、信道容量等。需要强调的是，连续信源的熵只是熵的相对值，不是绝对值，而离散信源的熵是绝对值。
定义51给出的是单个连续随机变量的熵，如果有多个随机变量，可以定义联合熵、条件熵、互信息等概念。
【定义52】设有两个连续随机变量X和Y，其联合熵为

H(X,Y)=－+∞-∞p(xy)logp(xy)dxdy(52)

式中p(xy)为二维联合概率密度函数。






【定义53】设有两个连续随机变量X和Y，其条件熵为

H(X|Y)=－+∞-∞p(xy)logp(x|y)dxdy(53)

或者

H(Y|X)=－+∞-∞p(xy)logp(y|x)dxdy(54)

式中p(x|y)和p(y|x)为条件概率密度函数。
【定义54】两个连续随机变量X和Y之间的平均互信息量为

I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)(55)

由该定义可以得到

I(X;Y)=H(X)+H(Y)－H(X,Y)

证明： 


I(X;Y)=H(X)－H(X|Y)
=H(X)++∞-∞p(xy)logp(x|y)dxdy

=H(X)++∞-∞p(xy)logp(xy)p(y)dxdy

=H(X)+∫+∞－∞p(y)log1p(y)dy++∞-∞p(xy)logp(xy)dxdy
=H(X)+H(Y)－H(X,Y)


由上述推导可以看出，有

I(X;Y)=I(Y;X)

并且


H(X,Y)－H(X)－H(Y)=+∞-∞p(xy)logp(x)p(y)p(xy)dxdy

≤+∞-∞p(xy)p(x)p(y)p(xy)－1logedxdy=0


故有

I(X;Y)≥0

上述定义与离散信源的对应关系式完全类似,而且可以证明连续信源的平均互信息也具有非负性。连续信源中各种熵和平均互信息之间的关系也可以用图26的维拉图表示。但是由于连续信源的熵是微分熵，略掉了一个无穷大项，因此它不具有非负性和极值性。
【例51】求均值为m，方差为σ2的高斯分布的熵。
解： 高斯随机变量的概率密度为

p(x)=12πσexp－(x－m)22σ2

则有


H(X)=－∫+∞－∞p(x)logp(x)dx

=－∫+∞－∞p(x)log12πσexp－(x－m)22σ2dx


如果取对数的底为e，则


H(X)=－∫+∞－∞p(x)－ln2πσ－12σ2(x－m)2dx

=ln2πσ+12σ2σ2=ln2πeσ


【例52】设随机变量X和Y的联合概率密度为


p(xy)=12πσxσy1－ρ2·

exp－12(1－ρ2)(x－mx)2σ2x－2ρ(x－mx)(y－my)σxσy+(y－my)2σ2y


求： (1) H(X)和H(Y)各是多少？
(2) H(X|Y)和H(Y|X)各是多少？
(3) H(X, Y)是多少？
(4) I(X;Y)是多少？
解： 
(1) 

p(x)=∫+∞－∞p(xy)dy=12πσxexp－(x－mx)22σ2x

故

H(X)=－∫+∞－∞p(x)logp(x)dx=ln2πeσx

同理可得

H(Y)=ln2πeσy


(2) 由条件熵定义，有


H(X|Y)=－+∞-∞p(xy)logp(x|y)dxdy

=+∞-∞p(xy)ln2πσ2x(1－ρ2)+12(x－mx)2(1－ρ2)σ2x－2ρ(x－mx)(y－my)(1－ρ2)σxσy+

(y－my)2(1－ρ2)σ2y－(y－my)2σ2ylnedxdy

=ln2πσ2x(1－ρ2)+loge211－ρ2－2ρ21－ρ2+11－ρ2－1=ln2πeσ2x(1－ρ2)


同理可得

H(Y|X)=ln2πeσ2y(1－ρ2)

(3) 由联合熵定义，有


H(X,Y)=－+∞-∞p(xy)logp(xy)dxdy

=+∞-∞p(xy)ln2πσxσy(1－ρ2)+12(x－mx)2(1－ρ2)σ2x－2ρ(x－mx)(y－my)(1－ρ2)σxσy+

(y－my)2(1－ρ2)σ2ylnedxdy

=ln2πσxσy(1－ρ2)+loge211－ρ2－2ρ21－ρ2+11－ρ2

=ln2πeσxσy(1－ρ2)


(4) 由互信息量定义，有


I(X;Y)=H(X)－H(X|Y)

=ln2πeσx－ln2πeσ2x(1－ρ2)=－ln(1－ρ2)


上述结果表明，两个高斯随机变量的各自熵只与各自的方差有关。条件熵与相关系数ρ有关，当ρ=0时，即X和Y互不相关时，或者说互相独立时，则有H(X)=H(X|Y)和H(Y)=H(Y|X)。联合熵也与ρ有关，而互信息量仅与ρ有关，与方差无关，当ρ=0时，I(X;Y)=0。
5.2连续信道及其信道容量
对于连续信道，其输入和输出均为连续的随机信号，但从时间关系上来分，可以分为时间离散信号和时间连续信号两大类。当信道输入输出只能在特定时刻变化，即时间为离散值时，称信道为离散时间信道(或时间离散信道)。当信道的输入输出是随时间变化的，即时间为连续值时，称为连续信道或者波形信道。我们在1.3节已经介绍过这些信号。下面将分别讨论这两种类型的信道。
5.2.1时间离散信道
设时间离散信道的输入和输出集分别为X和Y。N个单元时间信道的输入序列为x={x1, x2, …, xN}； 输出序列为y={y1, y2, …, yN}。信道转移概率密度为p(y|x)。类似于离散信道，若

p(y|x)=∏Nn=1p(yn|xn)

就称该信道是无记忆信道。
这样，对于时间离散信道的研究就可以归结为对单位时间段上信道的输入、输出和干扰之间的关系的研究，也就是单个符号的传输问题的研究了。信道容量C定义为

C=maxp(x)I(X;Y)

其中p(x)为输入事件x的概率密度。
由于输入和干扰是相互独立的，对于一维随机变量，其信道模型可以表示为

Y=X+N

式中，X为输入随机变量，Y为输出随机变量，N为随机噪声，且X和N统计独立。
设随机变量X和N的概率密度分别为pX(x)和pn(z)，不难求得随机变量Y在X条件下的概率密度为

p(y|x)=pN(y－x)=pN(z)

则有


H(Y|X)=－+∞-∞p(xy)logp(y|x)dxdy

=－+∞-∞pX(x)p(y|x)logp(y|x)dxdy

=－+∞-∞pX(x)pN(y－x)logpN(y－x)dxdy

=－∫∞－∞pX(x)∫∞－∞pN(z)logpN(z)dzdx

=－∫∞－∞pX(x)H(N)dx=H(N)


式中，H(N)为信道噪声的熵，因此互信息为

I(X;Y)=H(Y)－H(Y|X)=H(Y)－H(N)

由上式可以看出，简单加性噪声信道的互信息由输出熵和噪声熵所决定。若输入信源X和噪声信源N分别为均值为0、方差为σ2X和σ2N的高斯分布，则随机变量Y为均值为0、方差为σ2X+σ2N的高斯分布。所以


I(X;Y)=H(Y)－H(N)

=12log2πe(σ2X+σ2N)－12log2πeσ2N=12log1+σ2Xσ2N


当σ2X/σ2N任意大时，则I(X;Y)同样也可以任意大。由于实际中信号和噪声的能量是有限的，所以我们所研究的时间离散连续信道的容量是在功率受限条件下进行的。
【定义55】对于输入信号平均功率不大于S的时间离散信道的容量定义为

C=supn,pn1nI(X;Y)

式中上限是对所有的n和所有的概率分布pn上求的。在无记忆条件下，时间离散信道容量为

C=maxpnI(X;Y)

对于平均功率受限的、最简单的一维时间离散可加高斯噪声信道的互信息为

I(X;Y)=H(Y)－H(N)

因此信道容量为

C=H(Y)－H(N)=12log1+σ2Xσ2N

非高斯性加性噪声信道容量的计算相当复杂，只能给出其上下限，有下述定理存在。
【定理51】假设输入信源的平均功率小于σ2X，信道加性噪声平均功率为σ2N，则可加噪声信道容量C满足

12log1+σ2Xσ2≤C≤12logσ2X+σ2Nσ2

式中σ2为噪声的熵功率。
证明： 对于加性噪声信道

Y=X+N

当输入信源和噪声的均值分别为0时，信道的输出功率为σ2X+σ2N。由于

H(Y)≤12log2πe(σ2X+σ2N)

且

σ2=12πee2H(N)

即

H(N)=12log(2πeσ2)

故有


C=maxpH(Y)－H(N)=maxpH(Y)－H(N)

≤12log2πe(σ2X+σ2N)－12log(2πeσ2)=12logσ2X+σ2Nσ2


故不等式右端成立。当噪声满足高斯分布时，则有σ2=σ2N，等号成立。
由于任何一个信源的熵功率都小于或等于其平均功率，即

σ2≤σ2N

所以有

12log2πe(σ2X+σ2N)≥12log2πe(σ2X+σ2)

当选择输入信源功率为σ2X的高斯变量时，有


C≥I(X;Y)=H(Y)－H(N)≥12log2πe(σ2X+σ2)

－12log(2πeσ2)=12log1+σ2Xσ2


因此

12log1+σ2Xσ2≤C≤12logσ2X+σ2Nσ2

上述定理表明，当噪声功率σ2N给定后，高斯型干扰是最坏的干扰，此时信道容量C最小。因此，在实际应用中和科学研究中，往往把干扰视为高斯分布，研究最坏的情况通常是比较安全的。
5.2.2连续信道
时间连续信道也称作波形信道。设输入和输出为随机过程X(t)和Y(t)，设N(t)为随机噪声，那么简单的加性噪声信道模型可以表示为

Y(t)=X(t)+N(t)

输入、输出和噪声都是时间t的函数。
由于信道的带宽总是有限的，根据随机信号采样定理，可以将一个时间连续的信道变换成时间离散的随机序列进行处理。设输入、噪声和输出随机序列分别为Xi、Ni和Yi，i=1,2,…,n，则有

Yi=Xi+Ni(i=1,2,…,n)

下面将讨论平均功率受限情况下时间连续的高斯信道。
设高斯信道的平均功率为σ2N，即

DN(t)=σ2N

对于随机序列Ni，i=1,2,…,n，则有

DNi=σ2N

因为高斯白噪声的各样本值彼此相互独立，那么n维高斯分布的联合概率密度为

p(z)=p(z1z2…zn)=12πσ2Nn/2exp－z21+z22+…+z2n2σ2N

对于加性噪声信道，由概率理论可知

p(y|x)=p(z)=∏ni=1p(zi)=∏ni=1p(yi|xi)

由于信道是无记忆的，那么n维随机序列的平均互信息满足

I(X;Y)≤∑ni=1I(Xi;Yi)

因此时间连续信道的信道容量为

C=maxp(x)I(X;Y)=maxp(x)∑ni=1I(Xi;Yi)

若信道为高斯信道，则时间连续信道的信道容量为

C=n2log1+σ2Xσ2N

达到该信道容量的条件是，n维输入随机序列中的每一分量都必须是均值为0、方差为σ2X且相互独立的高斯变量。
5.3本章小结
本章简要介绍了连续信源和连续信道，见表51。


表51本章小结



连


续


信


源
模型： X
P=x
p(x)∫∞－∞p(x)dx=1，概率密度

熵： H(X)=－∫∞－∞p(x)logp(x)dx
共熵： H(X,Y)=－+∞-∞p(xy)logp(xy)dxdy
条件熵： H(X|Y)=－+∞-∞p(xy)logp(x|y)dxdy
平均互信息： I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)
关系： 


连续
信道

(加性

噪声)
时间离散信道(单符号连续信道)
噪声为高斯分布


C=H(Y)－H(N)=12log1+σ2Xσ2N
噪声为一般分布


12log1+σ2Xσ2≤C≤12logσ2X+σ2Nσ2


这表明，当噪声功率σ2N给定后，高斯型干扰是最坏的干扰，此时信道容量C最小


时间连续信道，且噪声为高斯分布： C=n2log1+σ2Xσ2N


连续信源主要讲了信源的模型、熵、共熵、条件熵和平均互信息。需要注意的是，连续信源的熵不同于离散信源的熵。连续信源的熵是微分熵，与离散信源的熵相比，去掉了一个无穷大项。
连续信道分时间离散和时间连续两种情况讨论，信道上的噪声主要讨论了加性高斯噪声。给出了不同情况下的信道容量。
5.4习题
51设信源的输出幅度被限定在(a, b)内。证明： 在限定范围内，当输出信号的概率密度是均匀分布时，信源具有最大熵

Hmaxx,p(x)=log(b－a)

52设随机变量X的概率密度为

p(x)=12λe－λ|x|

求随机变量X的熵。
53证明连续信源X的熵H(X)是关于X的概率密度函数p(x)的上凸函数。
54对于连续型随机序列Xi和Yi(i=1, 2, …, n)，证明： 当信源Xi无记忆时，则有

I(X;Y)≥∑ni=1I(Xi;Yi)

当信道p(y|x)无记忆时，则有

I(X;Y)≤∑ni=1I(Xi;Yi)

并问在什么条件下，上述两式等号成立。