信源是信息的来源，而通信系统的目的就是传输信息，因此对信源所提供信息特性的
研究显得非常重要。
信源研究的主要问题包括：
（1）信源的形态问题：主要讨论信源的数学建模方法，即如何利用数学方法描述信源
和讨论信源性质。
（2）信源信息的表达问题：主要讨论信源编码问题，即如何利用消息有效地表达信源
所发出的信息。
本章主要介绍信源的形态问题，也就是信源的数学建模方法。如前所述，信源所包含
的信息是通过消息来承载的，因此研究信源特性就是研究信源所发送消息的特性。毫无疑
问，消息是随机变量，是会随着时间（或者空间）不同而变化的一类随机变量。综合消息
的上述特性，可以利用随机过程 X(t) 建模和研究消息，进而得到信源特性。
3.1 随机过程基本知识
研究概率论和离散信息的统计度量时，常使用随机事件这一概念。例如，抛硬币中正
面朝上是随机事件，掏球活动中掏出红球是随机事件，等等。
现实的世界以时间和空间为坐标轴，任何事件（包括随机事件）都是在某一时间点的
特定空间中发生的，因此描述随机性现象更为一般的概念是随机过程。简而言之，随机过
程是依赖参数的一族随机变量的全体。由于参数通常是指时间，因此随机过程这一概念中
有过程一词就容易理解了。本节简单回顾随机过程基础知识。
3.1.1 概率空间
随机过程的数学定义建立在概率空间概念之上，因此先回顾概率空间的含义。
定义3.1 概率空间
设随机试验为 E，其对应的样本空间为 Ω。F 是 Ω 的所有子集组成的集族（Ω 上
所有随机事件（包括空集）组成的事件集合），P 为事件集合 F 所对应的概率，P(A)
为事件 A 的概率。称 (Ω,F, P) 组成概率空间。
定义中所述 F...是...Ω..中...所..有...子...集..构...成...的..集...族..，表明 F 是 Ω 所能生成的所有事件（包括
空集），见例 3.1。
例3.1 抛硬币。
小学生春凤和同学楠楠抛硬币猜正反面。
求概率空间定义中的集族 F。
解：根据题意，样本空间 Ω = {H, T}。Ω 的所有子集为
. {H} {T} {HT}
根据随机事件的定义（参见定义 2.1），., {H}, {T}, {HT} 都是由样本空间 Ω 所派生出的
随机事件，因此集族 F = n., {H}, {T}, {HT}o = n., {H}, {T},Ω}o 实际就是由样本
空间 Ω 派生的、包括空事件在内的所有事件组成的事件集。
例3.2 掷骰子。
小学生春凤和楠楠掷骰子猜点数。
求集族 Ω。
解：根据题意，样本空间 Ω = {ωi, i = 1, 2, · · · , 6}。对应于样本空间 Ω 的基本事件为
ei = {ωi} = {i}
根据上述的基本事件，可以构造以下联合事件：
ei1,i2 = ei1 ∪ ei2
ei1,i2,i3 = ei1 ∪ ei2 ∪ ei3
...
ei1,··· ,i6 = ei1 ∪ · · · ∪ ei6
i1, i2, · · · , i6 ∈ {1, 2, · · · , 6}，且互不相等
则有
F = n., ei1 , ei1,i2 , · · · , ei1,i2,··· ,i6 | {z } Ω o= n.,Ω, ei1 , ei1,i2 , · · · , ei1,i2,··· ,i5o
3.1.2 随机过程
1. 随机过程的定义
定义3.2 随机过程
设 (Ω,F, P) 为一概率空间，T 为一实数参数集。X(ω, t) 为定义在 Ω 和 T 上的二
元函数。如果对于任意的 t ∈ T, ω ∈ Ω，X(ω, t) 是 (Ω,F, P) 上的随机变量，进而
{X(ω, t), ω ∈ Ω, t ∈ T} 为一簇随机变量，则称这一随机变量簇 X = {X(ω, t), t ∈ T,
51
ω ∈ Ω} 为概率空间 (Ω,F, P) 上的一个随机过程，简记为 X(t), t ∈ T 或 X(t) 或
Xt(ω)。
2. 随机过程的含义
X(ω, t) 是 (Ω,F, P) 上的随机变量。根据随机变量的定义（参见定义 2.6），随机变
量是样本点 ω ∈ Ω 到实数的一种映射，而 X(ω, t) 定义为 Ω 和 T 上的二元函数，也是一
种映射，只不过自变量是二元的，所以 X(ω, t) 是一随机变量。
{X(ω, t), ω ∈ Ω, t ∈ T} 为一簇随机变量。当自变量 ω 固定时，自变量 t 取值于集合
T，t 值不同，所对应的随机变量 X(ω, t) 取值不同，构成一簇随机变量，参见图 3.1。
t 固定和 ω 固定，X(ω, t) 取固定值，表示一随机事件；
t 固定和 ω 可变，X(ω, t) 表示样本空间 Ω 上的随机变量；
t 可变和 ω 固定，X(ω, t) 表示一确定的时间函数；
t 可变和 ω 可变，X(ω, t) 当然就是随机过程。
状态空间：随机过程 X(ω, t) 的取值所组成的集合 S。自然有 S . R。
样本函数：ω 固定情况下的函数 X(ω, t)，又称样本轨迹。
图 3.1 随机变量与随机过程
例3.3 抛掷硬币。
小学生春凤以每隔 T0 = 1s 掷一次硬币，并记录抛掷结果。
解：抛掷结果 X(t) 是时间 t 的函数，X(t) 是一随机过程，其映射关系：
样本空间 : Ω = {H : 正面朝上, T : 反面朝上}
随机过程：X(t) =8<:
.1, 第 n 次抛掷结果为 H
1, 第 n 次抛掷结果为 T
(n . 1)T0 6 t 6 nT0
52
此随机过程的示意图见图 3.2（a）。
例3.4 随机过程举例：喜鹊种群。
小学生春凤和楠楠接受了一项调查任务：了解小区喜鹊种群数量的变化。
解：种群数量是动态变化的，在某一时间 .t
，喜鹊种群数量 X(.t
) 为一随机变量；如
果考察种群数量的变换，则需要从 t = 0 开始每隔一定时间（如 24h）观察喜鹊种群的数
量，得到的 X(t), t = 0, 24, 48, · · · 为一簇随机变量，则称这簇随机变量的全体 {X(t), t =
0, 24, 48, · · · } 为一随机过程，见图 3.2（b）。此时有状态空间 S = {0, 1, 2, · · · } 和参数集
T = {0, 24, 48, · · · }。
图 3.2 抛掷硬币和喜鹊种群数量
例3.5 随机过程举例：简谐波
小学生春凤和楠楠做一实验：漏斗装上沙子并挂起来像钟摆一样摆动，下面放一白纸
横向拉动并分析沙子在白纸上留下的痕迹。
解：沙子留下的痕迹为简谐波，钟摆幅度为振幅 A，做一次实验就得到一个简谐波，但
初相位不同，是随机的，得到的痕迹参见图 3.3。此时有参数集 T = {.∞,+∞} 和状态空
间 S = {.A,+A}。
图 3.3 具有随机初相位的简谐波 (X(t) = Acos(ωt + φ))
53
3.2 信源的数学模型和分类
如前所述，信源是信息的来源，但信息是抽象的，如何刻画抽象信息的来源？此时，就
要利用消息。信息加载于消息，消息是信息的载体，信源依靠发送消息来传递信息，所以
对信源中信息特性的研究就需要考察信源所发出的消息特性。
消息具有随机性，因此可以利用随机变量或者随机过程来描述承载信源信息的消息符
号，进而描述信源特性。随机过程是随机变量簇，是随机变量的时间函数。因此，随机变
量可以用来描述与时间无关的一类信源，这类信源较为简单，本章主要讨论此类信源的数
学模型；而随机过程则可以用来描述一些较为复杂的信源。
3.2.1 信源的数学模型
本节仅讨论最简单的一类信源，可以利用随机变量来描述其输出消息的信源。根据概
率论的有关知识，可以认为随机变量 X 是样本空间 Ω 和实数集的一种映射，因此利用随
机变量的概率空间来描述此随机变量。根据定义 3.1，概率空间有三要素 (Ω,F, P)。为了
方便，本节使用简化的概率空间定义（见定义 2.13）：
"X
P #= "x
P(x)#= "x
p(x)# (3.1)
式中，x 表示随机变量 X 的取值。
根据 x 的性质，可以将信源分为离散信源和连续信源两类。
1. 离散信源的数学模型
若式 (3.1) 中 x 取离散值，则随机变量 X 所表示的信源为离散信源，意味着信源输出
的消息为离散类型的消息符号，此时消息符号的取值为有限个或者无限可数个。此类信源
如书信、文稿、电报和计算机输出代码等。
离散信源的数学模型为
"X
P #= " a1 a2 · · · aq
p(a1) p(a2) · · · p(aN)# (3.2)
式中：ai(i = 1, 2, · · · ,N) 为随机变量 X 的取值，即信源 X 所发出的 N 个消息符号；
p(ai) 为信源发出消息符号 ai 的概率，即 p(ai) = P(X = ai), p(ai) > 0, i = 1, 2, · · · ,N,
NPi=1
p(ai) = 1, N 为有限正整数，或者可数无穷; 离散信源发出的消息在时间和幅值上均是
离散的。
例3.6 二元信源。
已知二元信源 X 的符号集为 {0, 1}，先验概率 p(0) = 0.4, p(1) = 0.6，其数学模型为
"X
P #= " 0 1
0.4 0.6#
54
二元信源又称为二进制信源。
2. 连续信源的数学模型
若式 (3.1) 中 x 取值连续，或者取值数目是不可数的无穷值（如某一实数区间），则信
源为连续信源，意味着信源输出的消息为连续类型的消息符号，此时消息符号的取值为无
限不可数个。此类信源如语音、视频等。连续信源的数学模型为
"X
P #= "(a, b)
p(x) # (3.3)
式中，p(x) 为连续随机变量 X 的概率密度函数，p(x) > 0，∫b
a
p(x)dx = 1；(a, b) 为随机
变量 X 的取值区间。
3.2.2 信源分类
信源作为信息的来源，具有多种多样的形态，如人、物、机器等，尤其在万物互联时
代，世间万物都可成为信源。但不同类型的信源又表现出较大的差异，仅以最直观的信源
人为例，智力正常的人与智力异常的人在信息表达上存在差异，成人与婴儿和孩童等也有
明显的差异，小学生春凤与中学生春凤和大学生春凤也存在差异，等等。
对形态各异的信源进行分类研究是有必要的，这样可以集中研究特定类型信源的共有
特性，而不必具体到万物中的某个“物”。不同的分类标准会得到不同的类别，本章仅介绍
几种常见的分类标准及其对应的类别。
1. 随机变量的连续性
在介绍信源的数学模型 (3.2.1节) 时，已经对信源进行了初步分类：信源可以建模为随
机变量，随机变量的取值可简单分为离散和连续两种类型，因此信源也可以根据取值是否
连续分为离散信源和连续信源两种类型。这是根据随机变量取值的连续性进行分类的。
2. 随机变量的关联性
信源不可能只发送一个消息符号，它总是不停地发送一系列的消息符号，可以根据消
息符号之间的关联性对信源进行分类。若相邻消息之间统计独立，则信源是无记忆信源；若
相邻消息不是统计独立的，则信源为有记忆信源。
对于有记忆信源，根据相邻符号之间关联的程度，又进一步分为有限记忆信源和无限
记忆信源两类。若消息符号之间的关联性只存在于相邻的有限个符号之间，则信源称为有
限记忆信源；若这种关联性在所有消息符号之间都存在，则信源称为无限记忆信源。
以离散信源为例，前述的消息符号之间的关联程度可以利用联合概率来刻画。假设当
前信源输出消息为 Xi（下标 i 表示信源所发出的消息符号的序号，即当前信源发出了第 i
个消息符号 Xi），则此消息符号发生的条件概率 PXi|Xi.1Xi.2 · · ·X1 可分为下面三种
情况。
（1）PXi|Xi.1Xi.2 · · ·X1= PXi：当前消息 Xi 与所有的历史消息 Xi.1Xi.2 · · ·X1
无关，消息之间统计独立，此即为无记忆信源。
55
（2）PXi|Xi.1Xi.2 · · ·X1= PXi|Xi.1Xi.2 · · ·Xi.M：当前消息 Xi 仅与 M 个历
史消息符号 Xi.1Xi.2 · · ·Xi.M 有关，而与更早的历史消息无关，此即为有限记忆信源。
（3）PXi|Xi.1Xi.2 · · ·X1= PXi|Xi.1Xi.2 · · ·X1：当前消息 Xi 与所有的历史消
息 Xi.1Xi.2 · · ·X1 有关，此即为无限记忆信源。
3. 随机变量的平稳性
根据随机变量的平稳性（随机变量的统计特性是否随时间而变化），可以将信源分为以
下两种类型。
（1）平稳信源：信源符号的概率分布不随时间而变化。
（2）非平稳信源：信源符号的概率分布随时间而变化。比如，语音信号可以建模为非
平稳随机过程，是非平稳信源。
4. 消息符号个数
信源之所以存在，就是要孕育信息并将信息加载于消息之上以达到信息传输目的。因
此，就其物理本质而言，信源会源源不断地发送消息。从数学建模角度，信源所发送的消
息符号是一无穷序列。但是，将无穷序列作为一个随机变量进行研究较为复杂，常将信源
所发出的无穷序列简化为一系列长度为 N 的随机变量序列。根据 N 的取值，可以将信源
划分为以下两种类型。
（1）单符号信源：N = 1，此类信源表示将信源发出的单个符号作为研究对象并建模为
一个随机变量，这是最简单的一类信源。
（2）多符号信源：N > 1，此类信源表示将信源发出的 N 个符号作为研究对象并将其
建模为一随机矢量。
5. 标准组合
前面根据随机变量的连续性、关联性等性质对信源进行了简单划分，也可以看出分类
标准其实反映的就是信源某些方面的性质，因此也可以将不同的分类标准（或者性质）叠
加融合，从而得到更有针对性、更具体的一些信源。
（1）单符号离散无记忆信源：建模为取值离散的随机变量，相邻随机变量相互独立。
（2）离散有记忆信源：取值离散的、相互之间并不独立的随机变量。
6. 简单总结
由前面的介绍可知，信源的分类方法很多，信源的常见分类如表 3.1 所示。
实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难，实际应用
时常利用一些可以处理的数学模型来近似。例如，语音信号是非平稳随机过程，但常用平
稳随机过程来描述。平稳随机过程抽样后就是平稳随机序列。数学上，随机序列是随机过
程的一种，是时间参数离散的随机过程。随机序列（特别是离散平稳随机序列）是我们研
究的主要内容，单列出来，将其分类如下：
56
表 3.1 信源的常见分类
时间（空间） 取值 信源种类 举例 数学描述
离散 离散
离散信源
（数字信源）
文字、数据
离散化图像
离散随机变量序列
P[X] = P[X1X2 · · ·XN]
离散 连续 连续信源 抽样后的语音信号
连续随机变量序列
P[X] = P[X1X2 · · ·XN]
连续 连续
波形信源
（模拟信源）
语音、热噪声
图形、图像
随机过程 {X(ω, t)}
连续 离散 不常见
随机序列
8>
>>>>>>>>>>>>>>>>>>>>><>
>>>>>>>>>>>>>>>>>>>>>:
平稳信源
8>
>>>>>>>>>>>>>>><>
>>>>>>>>>>>>>>>:
离散平稳信源
8>
>>>>>>>><>
>>>>>>>>:
离散平稳无记忆信源
离散平稳有记忆信源8>
>><>
>>:
离散平稳无限记忆信源
马尔可夫信源
连续平稳信源
非平稳信源
3.3 离散单符号信源
3.3.1 离散单符号信源的概念和数学模型
若信源 X 符号集 A = {a1, a2, · · · , aN}（N 为符号集大小），信源符号的概率分布为
P[an](n = 1, 2, · · · ,N)，则此信源为离散单符号信源。其数学模型为
"X
P #= " x1 x2 · · · xN
p(x1) p(x2) · · · p(xN)# (3.4)
根据定义可知，离散单符号信源对信源中消息符号的个数并无限制，因此 N → +∞
也是可以的。也就是说，离散单符号信源所发出的消息符号既可以取自有限符号集，也可
以取自无限符号集。
根据离散单符号的数学模型可以发现离散单符号信源没有考虑符号之间的关联关系，
即隐含信源所发出的符号是相互独立的，因此离散单符号信源也是一类离散无记忆信源。
离散单符号信源是最简单最基本的信源，是组成实际信源的基本单元，可利用离散随
机变量表示。
57
例3.7 二进制信源。
已经在例 3.6中接触过二进制信源，其更为一般的模型是一个单符号离散无记忆信源，
信源的每个符号取自于同一符号集 A = {0, 1}。由于符号集中只有两个符号，所以称为二
进制信源，又称为二元信源。二进制信源的数学模型可以表示为
"X
P #= " 0 1
p 1 . p# (3.5)
3.3.2 离散单符号信源的信息度量
离散单符号信源所发出的消息符号是随机的，信源发出符号 xi 也可以认为是随机事
件 xi 发生，因此根据信息度量的性质，消息符号 xi 含有自信息量 I(xi)；信源 X 则会包
含平均自信息量，即信息熵 H(X)：
I(xi) = .log p(xi), H(X) =
N Xi=1
p(xi)I(xi) = .
N Xi=1
p(xi) log p(xi) (3.6)
分析式 (3.6) 可以发现，这与定义 2.12和定义 2.14中所定义的自信息量和信息熵是完
全一致的。考虑到.X...为...离...散..单...符...号..信...源...，..x..i..为...消..息...符...号..这些具体对象，可以认为前面所
介绍的随机事件的自信息量和信息熵等是定义在离散单符号信源上的相关概念。有鉴于此，
若信息熵 H(X) 中 X 特指信源，则 H(X) 称为信源熵。
在 X 为离散单符号信源的情况下，信源熵 H(X) 继承了信息熵 H(X) 所具有的一切
性质，如极值性和可加性等，不再赘述。
3.4 离散多符号信源
前面介绍的单符号信源是最简单的信源模型，可以利用离散随机变量表示。实际信源
输出的往往是符号序列，称为离散多符号信源，通常用离散随机变量序列（随机矢量）来
表示，X = X1X2 · · · 。例如，电报系统发出的是一串脉冲信号（1 表示有脉冲，0 表示无
脉冲），因此电报系统是离散多符号二进制信源。
为了简单起见，本书只研究离散平稳信源，即统计特性不随时间改变的信源。
定义3.3 离散平稳信源
若信源发出的消息为一离散随机序列 X = X1X2X3 · · · ，且满足：
（1）离散性：随机序列中的 Xi(i = 1, 2, · · · ) 均取值于有限符号集 A = {a1, a2, · · · ,
aQ}。
58
（2）平稳性：对任意的非负整数 N, i1, i2, · · · , iN, h 以及 x1, x2, · · · , xN ∈ A ，有
PXi1 = x1,Xi2 = x2, · · · ,XiN = xN= PXi1+h = x1,Xi2+h = x2, · · · ,XiN+h = xN
3.4.1 离散平稳信源的性质
根据离散平稳信源的定义可以得到离散平稳信源的一些有用性质，具体如下：
任意时刻单符号信源的信源符号分布相同：
PXi= PXj←. N = 1 (3.7)
任意时刻二次扩展信源的信源符号分布相同：
PXiXi+1= PXjXj+1←. N = 2, i1 = i, i2 = i1 + 1, i1 + h = j (3.8)
任意时刻三次扩展信源的信源符号分布相同：
PXiXi+1Xi+2= PXjXj+1Xj+2←. N = 3, i1 = i, i2 = i1 + 1, i3 = i2 + 1, i1 + h = j
(3.9)
任意时刻 N + 1 次扩展信源的信源符号分布相同：
PXiXi+1 · · ·Xi+N= PXjXj+1 · · ·Xj+N i1 = i, i2 = i1 + 1, i3 = i2 + 1, · · · , iN = iN.1 + 1, i1 + h = j (3.10)
上面的性质说明，离散平稳信源的各维联合概率分布与时间起点（前述性质中的下标
i、j）无关。
根据性质各...维...联..合...分..布...均...与..时...间...起..点...无...关..可得到下述性质：
离散平稳信源的条件概率分布均与时间起点无关，只与关联长度 N 有关：
PXi+1|Xi= PXj+1|Xj (3.11)
PXi+2|Xi+1Xi= PXj+2|Xj+1Xj (3.12)
...
(3.13)
PXi+N|Xi+N.1 · · ·Xi= PXj+N|Xj+N.1 · · ·Xj (3.14)
根据这一性质可知，平稳信源不一定是无记忆信源，因为 PXi+1|Xi= PXj+1|Xj，
并不意味着 PXi+1|Xi= PXi。
根据前述的性质，即联合概率分布和条件概率分布均与时间起点无关，可得
H(X1) = H(X2) = · · · = H(XN) (3.15)
H(X2|X1) = H(X3|X2) = · · · = H(XN|XN.1) (3.16)
59
H(X3|X2X1) = H(X4|X3X2) = · · · = H(XN|XN.1XN.2) (3.17)
...
3.4.2 常见的离散平稳信源
根据前述的离散平稳信源的定义，要求对任意的非负整数 N，都需要满足离散平稳信
源所要求的平稳性。数学上这是一个很理想的条件，因此满足这个要求的离散信源称为严
格平稳离散信源；这也是一个很苛刻的条件，实际信源很难满足这个要求，因此在建模实
际信源时，往往对平稳性条件进行松弛，从而定义了如下几种满足实际情况的平稳信源。
1. 一维离散平稳信源
当前述的信源符号数 N = 1 时，平稳性退化为
PXi= PXj (3.18)
此时信源为单符号离散信源，信源符号的一维概率（先验概率）与时间无关，因此这
样的信源称为一维离散平稳信源。
2. 二维离散平稳信源
当前述的信源符号数 N = 2 时，平稳性退化为
PXi= PXj PXiXi+1= PXjXj+1 因为此时信源符号的二维联合概率分布与时间起点无关，故称为二维离散平稳信源。
实际中，常使用下面的等价公式表征二维离散平稳信源：
PXi= PXj (3.19)
PXi+1|Xi= PXj+1|Xj (3.20)
这说明二维离散平稳信源的条件概率与时间起点无关。
3. 有限维离散平稳信源
一般地，当前述的信源符号数 N 为有限的正整数 m 时，平稳性退化为
PXi= PXj (3.21)
PXi+1|Xi= PXj+1|Xj (3.22)
PXi+2|Xi+1Xi= PXj+2|Xj+1Xj (3.23)
...
(3.24)
PXi+m.1|Xi+m.2 · · ·Xi= PXj+m.1|Xj+m.2 · · ·Xj (3.25)
60
因为此时信源符号的有限维联合概率分布与时间起点无关，所以称为有限维离散平稳
信源，或者更具体地称为m 维离散平稳信源。m 维离散平稳信源的 m.1 个条件概率与时
间起点无关。
3.4.3 离散多符号信源的信源熵
用信息熵（或信源熵）表示离散单符号信源的平均不确定程度。究其本质，信息熵表
示随机变量集合中单个随机事件所包含的平均信息量，若所考察的随机变量集合特指信源，
则信息熵（在这种情况下也可称为信源熵）是指单个信源符号所包含的平均信息量。
离散多符号信源所发出的是一个 N 长序列，因此 H(X) 表示离散多符号信源 X 中单
个符号序列 X = X1X2 · · ·XN 所包含的平均信息量。为了衡量通常意义上信源单个符号
所包含的平均信息量，特引入平均符号熵这一概念，表示离散多符号信源所输出的符号序
列中平均每个符号所携带的信息量。
定义3.4 平均符号熵
N 长随机变量序列 X = X1X2 · · ·XN 中，平均符号熵定义为
HN(X) =
1
N
H(XN) =
1
N
H(X1X2 · · ·XN) (3.26)
当平均符号熵中符号序列长度 N 趋于无穷时，可以得到极限熵H∞。
定义3.5 极限熵
N 长随机变量序列 X = X1X2 · · ·XN 中，当 N → ∞ 时，平均符号熵 HN(X) 定义
为极限熵
H∞ = lim
N→∞
HN(X) = lim
N→∞
1
N
H(XN) (3.27)
极限熵又称为熵率。
3.4.4 离散平稳无记忆信源
一般情况下，信源输出序列 X = X1X2 · · · 中第 n 个元素 Xn 的取值是随机的，但是
前后符号的取值有一定的统计关系。简单起见，假设消息符号序列 X = X1X2 · · · 中前后
符号的取值是无关的，即首先讨论无记忆信源这一特殊类型的信源；同时假设信源具有平
稳性，故首先讨论离散平稳无记忆信源。
离散平稳无记忆信源输出的符号序列是平稳随机序列，并且符号序列中的各个符号相
互独立。假定信源每次输出的是 N 长符号序列，这可以看作一个新的信源 Y 。这个新
的信源输出的符号是 X1X2 · · ·XN，由于这 N 个符号相互独立，并且来自同一个符号集
A = {a1, a2, · · · , aN}，因此离散平稳无记忆信源可以看成离散单符号无记忆信源的N 次
扩展信源。
61
1. 扩展信源的含义
扩展信源是从单符号信源扩展而成的新信源。下面举例说明信源是如何扩展的：
二次扩展信源是一个二维随机矢量，此二维随机矢量中的两个元素取自同一个信源符
号集 A ；
三次扩展信源是一个三维随机矢量，此三维随机矢量中的三个元素取自同一个信源符
号集 A ；
N 次扩展信源是一个N 维随机矢量，此 N 维随机矢量中的N 个元素取自同一个信源
符号集 A 。
所述的.同..一...个...信..源...符..号...集..是指扩展信源中所有的符号来自一个样本空间。
定义3.6 N 次扩展信源
设信源 X 的信源符号 x 为 N 维随机矢量 x = (X1X2 · · ·XN)，并且随机矢量中的元
素取自同一个符号集，即 X1 = x1 ∈ A ,X2 = x2 ∈ A , · · · ,XN = xN ∈ A ，则此类
信源称为N 次扩展信源。
其中：X1 表示信源符号 X 中的第一个符号，为一随机变量；X2 表示信源符号 X 中
的第二个符号，为一随机变量；XN 表示信源符号 X 中的第 N 个符号，为一随机变量；x1
表示随机变量 X1 的取值；x2 表示随机变量 X2 的取值；xN 表示随机变量 XN 的取值；A
表示信源符号集合。
扩展的含义：信源中的所有符号来自同一个符号集 A ，即信源 X 是由一个取值为 A
中元素的单符号信源扩展了 N 次得到的（信源 X 中的一个信源符号由 N 个 A 中的符号
组成）。
2. 离散无记忆二进制信源的二次扩展信源
若信源是由离散无记忆二进制信源经过二次扩展而来，则此信源称为离散无记忆二进
制信源的二次扩展信源。
根据前面的介绍，可以得到离散无记忆二进制信源的二次扩展信源的数学模型为
"X
P #= " α1 α2 α3 α4
p(α1) p(α2) p(α3) p(α4)#
信源有 4 个信源符号，分别为 α1、α2、α3、α4。
α1 = 00, α2 = 01, α3 = 10, α4 = 11，从二进制信源扩展而来。
离散无记忆性：
p(α1) = p(00) = p(0)p(0), p(α2) = p(01) = p(0)p(1)
p(α3) = p(10) = p(1)p(0), p(α4) = p(11) = p(1)p(1)
62
二次扩展信源示意：
离散无记忆二进制信源X
发出消息序列x ........→ 0. 1- 1. 0ˉ 1° 0± 02 03
建模方法：单符号信源X
x1
0.
x2
1-
x3
1.
x4
0ˉ
x5
1°
x6
0±
x7
02
x8
03
建模方法：二次扩展信源Y 0. 1-
y1
1. 0ˉ
y2
1° 0±
y3
02 03
y4
符号右上角的带圈数字表示消息符号发出的顺序，例如 1° 表示信源 X 发出的第 5 个
消息符号是 1；符号 xi(i = 1, 2, · · · , 8) 表示单符号信源 X 发出的第 i 个消息符号；符号
yi(i = 1, 2, · · · , 4) 表示二次扩展信源 Y 发出的第 i 个消息符号，每个消息符号 yi 包含两
个取自基本符号集 A = {0, 1} 的基本符号。由于此时一个信源符号含有两个基本符号，所
以消息序列 x 由 4 个消息符号 y1、y2、y3、y4 组成。
由于二次扩展信源的符号来自同一个符号集 A ，所以二次扩展信源也可以表示为 X2 =
(X1,X2)。
3. 离散无记忆二进制信源的三次扩展信源
离散无记忆二进制信源的三次扩展信源的生成如下：
离散无记忆二进制信源X
发出消息序列x ........→ 0. 1- 1. 0ˉ 1° 0± 02 03
建模方法：单符号信源X
x1
0.
x2
1-
x3
1.
x4
0ˉ
x5
1°
x6
0±
x7
02
x8
03
建模方法：三次扩展信源Z 0. 1- 1.
z1
0ˉ 1° 0±
z2
02 03
z3
三次扩展信源中每个信源符号有 3 个基本符号，这 3 个基本符号取自同一符号集 A =
{0, 1}。
三次扩展信源 Z 所发出的第三个信源符号应该有三个符号，可表示为 z3 = 00.。其
中，“*”表示下一步符号要么是 0，要么是 1。
通过前述的扩展信源生成过程，可以得到离散无记忆二进制信源的三次扩展信源的数
学模型为
"X
P #= " α1 α2 α3 α4 α5 α6 α7 α8
p(α1) p(α2) p(α3) p(α4) p(α5) p(α6) p(α7) p(α8)# (3.28)
信源符号：
α1 = 000, α2 = 001, α3 = 010, α4 = 011
α5 = 100, α6 = 101, α7 = 110, α8 = 111
信源符号发生的概率（先验概率）：
63
p(α1) = p(000) = p(0)p(0)p(0), p(α2) = p(001) = p(0)p(0)p(1)
p(α3) = p(010) = p(0)p(1)p(0), p(α4) = p(011) = p(0)p(1)p(1)
p(α5) = p(100) = p(1)p(0)p(0), p(α6) = p(101) = p(1)p(0)p(1)
p(α7) = p(110) = p(1)p(1)p(0), p(α8) = p(111) = p(1)p(1)p(1)
4. 离散无记忆信源的 N 次扩展信源
上面分析了离散无记忆二进制信源的扩展信源及其含义，下面将扩展信源的内涵推广
到更一般的情况，即离散无记忆信源的 N 次扩展信源。
定义3.7 离散无记忆信源的 N 次扩展信源
X 为一离散无记忆信源，其数学模型为
"X
P #= " a1 a2 · · · aQ
p1 p2 · · · pQ#
X 的 N 次扩展信源 X（或记为 XN）是具有 QN 个消息符号的离散多符号信源，其
数学模型为 "XN
P #= " α1 α2 · · · αQN
p(α1) p(α2) · · · p(αQN )# (3.29)
其中，Q 表示信源 X 中的符号个数；pi = PX = ai(i = 1, 2, · · · ,Q)。
扩展信源：XN = (X1,X2, · · · ,XN)。
扩展信源符号 αi：αi = ai1 , ai2 , · · · , aiN (i = 1, 2, · · · ,QN)。
扩展信源的体现：aik ∈ A = {a1, a2, · · · , aQ}(k = 1, 2, · · · ,N)。
无记忆信源：p(αi) = PXN = αi=
NQk=1
pik。
N 次扩展信源生成过程：
离散无记忆信源X
发出消息序列x ........→ a1a2 · · · aNaN+1 · · ·
建模方法：单符号信源X
x1
a1
x2
a2
···
· · ·
xN
aN+1
···
· · ·
建模方法：N 次扩展信源W a1a2 · · · aN
α1
aN+1 · · ·
α2
· · ·
N 个基本符号
· · · · · · · · · 1 个扩展信源符号
5. 扩展信源的信源熵
前面还定义信源熵 H(X) =
NPn=1
p(xn) log p(xn)。结合本章介绍的扩展信源的含义可以
发现，此处的信源 X 实际为最简单的单符号离散无记忆信源。可以对此处定义的信源熵进
64
行推广，将信源类型从单符号离散无记忆信源推广到扩展信源。根据信源熵的含义，扩展
信源的信源熵可以定义如下：
定义3.8 扩展信源的信源熵
设一离散信源 X，其符号集为 A = {a1, a2, · · · , aQ}。信源 X 的 N 次扩展信源 XN
的信源熵定义为
H(XN) = H(X1X2 · · ·XN) =XXN
p(αi) log p(αi) = .
QNX
i=1
p(αi) log p(αi) (3.30)
其中，αi 为扩展信源 XN 的第 i 个信源符号（i = 1, 2, · · · ,QN）。
根据扩展信源信源熵的定义来计算最简单的扩展信源（离散无记忆信源的 N 次扩展
信源）所具有的信源熵，此类信源的信源熵满足下面的定理：
定理3.1 离散无记忆信源的 N 次扩展信源的信源熵
离散无记忆信源 X 的 N 次扩展信源 XN 的信源熵等于信源 X 的信源熵的 N 倍，即
H(XN) = NH(X) (3.31)
证明：假设一离散无记忆信源的数学模型为
"X
P #= " a1 a2 · · · aQ
p1 p2 · · · pQ#
根据扩展信源的信源熵定义，扩展信源 XN 的信源熵为
H(XN) = H(X1X2 · · ·XN)
证明方法一：由于 XN 为离散无记忆信源 X 的扩展信源，所以信源 X1,X2, · · · ,XN
是相互独立的 N 个信源，且 H(X1) = H(X2) = · · · = H(XN) = H(X)。根据熵的可加性
（定理 2.1），有
H(XN) = H(X1X2 · · ·XN) = H(X1) + H(X2) + · · · + H(XN) = NH(X)
证明方法二：
H(XN) = .XXN
p(αi) log p(αi) = .
qNX
i=1
p(αi) log(αi)
65
离散无记忆信源：p(αi) =
NYk=1
p(aik)
....................................
= .
Q X i1,i2,··· ,iN=1
p(ai1)p(ai2) · · · p(aiN )"log p(ai1)+...............l.o.g..p..(.a.i.2.)..+...·..·.·.+...l.o.g..p..(.a..iN..).#
= .
Q X i1,i2,··· ,iN=1
p(ai1)p(ai2) · · · p(aiN )log p(ai1..........)
. · · ·
.
Q X i1,i2,··· ,iN=1
p(ai1)p(ai2) · · · p(aiN )log p(aiN ..........).
= .
Q Xi1=1
p(ai1) log p(ai1)
Q Xi2=1
· · ·
q XiN=1
p(ai2) · · · p(aiN )
| {z } 1
. · · ·
.
Q XiN=1
p(aiN ) log p(aiN )
Q Xi1=1
· · ·
Q X iN.1=1
p(ai1) · · · p(aiN.1)
| {z } 1
= .
Q Xi1=1
p(ai1) log p(ai1)
| {z } H(X1)=H(X)
.· · ·.
Q XiN=1
p(ai1) log p(aiN )
| {z } H(XN)=H(X)
= NH(X)
推论：根据定义 3.4可以求得离散无记忆信源的 N 次扩展信源的平均符号熵为
HN(XN) =
1
N
H(X1X2 · · ·XN) = H(X)
根据定义 3.5可以求得离散无记忆信源的 N 次扩展信源的熵率为
H∞ = lim
N→∞
HN(XN) = lim
N→∞
NH(X) = H(X)
例3.8 红绿灯。
已知小学生春凤和楠楠庆祝完了 12 岁生日，根据交通法规，可以骑自行车了。两人高
兴地骑自行车去兜风，并记录了骑行路上所遇到的交通信号灯情况，得到信号灯序列 X：
X = 红.红-绿.红ˉ红°绿±绿2红3
其中，右上标的数字表示序号，例如 红3 表示第 8 个路口遇到的是红灯。
66
同时做如下假设：
（1）相邻信号灯之间没有任何关联；
（2）遇到红灯和绿灯的概率相等。
将信号灯序列 X 建模为信源，求下列建模方法所对应的信号灯序列 X 的自信息量：
（1）单符号信源；
（2）两符号信源；
（3）四符号信源；
（4）八符号信源。
解：根据已知条件，可设基本符号 a1 = 红 和 a2 = 绿，且有
P红= 0.5, P绿= 0.5
在 N = 1 的情况下，每个基本符号（红灯或者绿灯）都是一个随机事件，所求序列 X
则为 8 个随机事件组成的联合事件，其发生概率为
PX= P红.P红-P绿.P红ˉP红°P绿±P绿2P红3 = 0.58
则 X 的自信息量 I1(X) = .log2 PX= 8bit
由于此序列含有 8 个基本符号，平均每个基本符号所含有的自信息量 I1
1 =
8bit
8
= 1bit
在 N = 2 的情况下，一个信源符号中含有 2 个基本符号（红灯或者绿灯），此时信源
符号为一个二维随机矢量 x = (x1x2)。则序列 X 由 4 个信源符号组成：
X = 红. 红-
| {xz } 1
绿. 红ˉ
| {z } x2
红° 绿±
| {z } x3
绿2 红3
| {xz } 4
每个信源符号的发生概率为
Px1= P红× P红= 0.52, Px2= P绿× P红= 0.52
Px3= P红× P绿= 0.52, Px4= P绿× P红= 0.52
符号序列 X 的发生概率为
PX= Px1, x2, x3, x4= Px1× Px2× Px3× Px4= 0.58
序列 X 所包含的自信息量 I2(X) = .log2 PX = 8bit，平均每个信源符号所携带
的自信息量 I2(x) =
8bit
4
= 2bit，平均每个基本符号所携带的自信息量 I2
2 =
2bit
2
= 1bit。
在 N = 4 的情况下，一个信源符号中含有 4 个基本符号（红灯或者绿灯），此时信源
符号为一个四维随机矢量 x = (x1x2x3x4)，则序列 X 由 2 个信源符号组成：
X = 红.红-绿.红ˉ
| {z } x1
红°绿±绿2红3
| {z } x2
67
每个信源符号的发生概率为
Px1= P红× P红× P绿× P红= 0.54
Px2= P红× P绿× P绿× P红= 0.54
符号序列 X 的发生概率为
PX= Px1, x2= Px1× Px2= 0.58
符号序列 X 所携带的自信息量 I4(X) = .log2 PX= 8bit
平均每个信源符号所携带的自信息量 I2
4 =
8bit
2
= 4bit
平均每个基本符号所携带的自信息量 I4
4 =
4bit
4
= 1bit
在 N = 8 的情况下，一个信源符号中含有 8 个基本符号（红灯或者绿灯），此时信源
符号为一个八维随机矢量 x = (x1x2x3x4x5x6x7x8)。则序列 X 由一个信源符号组成：
X = 红.红-绿.红ˉ红°绿±绿2红3
| {z } x1
每个信源符号的发生概率为
Px1= P红P红P绿P红P红P绿P绿P红= 0.58
符号序列 X 的发生概率为
PX= Px1= 0.58
符号序列 X 所携带的自信息量 I8(X) = .log2 PX= 8bit
平均每个信源符号所携带的自信息量 I1
8 =
8bit
1
= 8bit
平均单个基本符号所携带的自信息量 I8
8 =
8bit
8
= 1bit
3.4.5 离散平稳有记忆信源
前面介绍了离散平稳信源中最简单的离散平稳无记忆信源，而实际信源往往是有记忆
信源。假定信源输出 N 长符号序列，则它的数学模型是 N 维随机变量序列（随机矢量）
X = X1X2 · · ·XN，其中每个随机变量 Xn(n = 1, 2, · · · ,N) 之间存在统计依赖关系。
1. 离散平稳有记忆信源的信源熵
平稳有记忆信源输出符号之间的相互依存关系不仅存在于相邻两个符号之间，而且存
在于多个符号之间。若离散平稳有记忆信源的输出为一个 N 长序列 X = X1X2 · · ·XN，则
此信源 X 的平均不确定程度可以利用联合熵表示：
H(X) = H(X1X2 · · ·XN)
68
= H(X1) + H(X2X3 · · ·XN|X1) = H(X1) + H(X2|X1) + H(X3 · · ·XN|X1X2)
= H(X1) + H(X2|X1) + H(X3|X2X1) + · · · + H(XN|XN.1XN.2 · · ·X2X1)
(3.32)
式 (3.32) 称为熵函数的链规则，即 N 维随机变量的联合熵等于随机变量 X1 的熵与
各阶条件熵之和。
2. 离散平稳有记忆信源的信源熵性质
对于离散平稳有记忆信源 X = X1X2 · · ·XN 的信源熵有下面的定理。
定理3.2 信源熵性质
. 条件熵 H(XN|XN.1XN.2 · · ·X2X1) 随 N 的增加是递减的；
. N 给定时平均符号熵大于或等于条件熵，即
HN(X) > H(XN|XN.1XN.2 · · ·X2X1) (3.33)
. 平均符号熵 HN(X) 随 N 的增加是递减的；
. 若 H(X1) < ∞，则极限熵 H∞ = lim
N→∞
HN(X) 存在，并且
H∞ = lim
N→∞
H(XN|XN.1XN.2 · · ·X2X1)
证明：（1）条件熵随 N 的增加而递减：
H(XN|XN.1XN.2 · · ·X2X1) = H(
定义为新的随机变量 y zXN|XN.1X}|N.2 · · ·X{2 |X1)
6 H(y) 条件熵小于或等于无条件熵：式 (2.51)
= H(XN|XN.1XN.2 · · ·X2)
= H(XN.1|XN.2XN.3 · · ·X1) 平稳信源性质：式 (3.17)
所以条件熵 H(XN|XN.1XN.2 · · ·X2X1) 随 N 的增加而递减。
条件熵的递减性说明记忆长度越长，条件熵越小，即信源符号之间的依赖关系增加时，
信源的不确定性降低。
（2）平均符号熵大于或等于条件熵：
NHN(X)
= H(X1X2 · · ·XN)
= H(X1) + H(X2|X1) + · · · + H(XN|XN.1XN.2 · · ·X2X1)
= H(XN) + H(XN|XN.1) + · · · + H(XN|XN.1XN.2 · · ·X2X1) 平稳信源性质：式 (3.17)
69