第3章经典检测理论
本章提要
本章简要介绍信号检测理论的基本概念,分析在经典检测理论中常用的检测准则,例如
最大后验概率准则、Bayes(贝叶斯)准则、最小错误概率准则、极大极小准则和Neyman-
Pearson(奈曼-皮尔逊)准则等。
在许多实际问题中,经常会遇到在几种可能发生的情况中做出判断的问题。如在雷达
系统中要观测雷达回波,根据观测到的被各种干扰淹没了的随机信号波形,做出目标是否存
在的判决。在数字通信系统中,信号在传输过程中,可能会受到工业噪声、交流噪声、随机脉
冲噪声、宇宙噪声以及元器件内部热噪声的污染,同时还会受到符号间干扰、同信道干扰、邻
信道干扰的影响,波形会产生畸变。因此,接收机要根据接收到的、畸变了的波形来判断发
送波形是几种可能波形中的哪一种。
以上所列举的判决问题就是需要利用检测理论来解决的问题。检测理论就是在噪声和
干扰环境下,根据有限的观测数据来识别信号有无或判断信号类别的理论。
在检测过程中,每次判决得到的结论并不都是正确的,而是尽可能使判决结论满足某种
准则。这里的准则是指在特定条件下具有不同含义的最优准则,检测理论中常用的准则有
Bayes准则、最大后验概率准则、最小错误概率准则、极大极小准则、Neyman-Pearson准则
等。因此,信号检测是一种基于某种最优准则,对观测数据的概率统计特性进行分析,最终
做出判决的过程,它属于统计判决的范畴,其理论基础是统计判决理论和假设检验理论。
3.检测理论的基本概念
1
本节先从最简单的二元检测问题入手,讨论检测理论的基本概念。
二元检测又称为双择检测,其理论模型如图3.
1所示。
图3.
1 二元检测模型
在二元检测模型中,第一部分是信号空间s, 只有s0(和s1(
即发射端发送的信号, t) t)
s1(s0(
两种状态。如在数字通信系统中,t)可以代表1码的波形,t)代表0码的波形。在雷
达中,代表有雷达回波信号的波形,t)代表无回波信号的波形。
s1(t) s0(
第二部分是干扰空间n,是指信号在信道上传输时所叠加的噪声。一般假设为均值为
·40·
0,方差为σ2 的高斯白噪声。
第三部分为接收空间,或称为输入空间x,它既是接收端接收到的受到干扰的信号,也
是需要进行判决处理的信号,即判决处理单元的输入信号。对于二元检测系统,x(=
t)(
t)
1)。
t)。
t)
si(+n(=0,
t)i
第四部分为判决规则,是对输入空间的受噪信号按照某种准则进行判决归类,判断发送
端发送的是s1(还是s0(
第五部分为判决空间D,在二元检测中,
D
分为D0 区域和D1 区域两部分。如果输入
空间的信号落在D1 区域,则判决发送端发送的是s1(如果落在D0 区域,
t); 则判决发送端
发送的是s0(二元检测就有两种可能的判决结果,。即
t)。这样,
H0:t)=s0(t)+n(
对应两种假设H0 和H1(3.x(t) 1)
H1:x(=t)+n((3.
t)s1(t) 2)
x(t) n(
其中,为观测到的信号,即输入空间的元素;t)为干扰信号,即干扰空间的元素。
因此,二元检测就是将判决空间
D
按照某种准则划分为D1 和D0 两个区域。若输入
t)2所示。
信号x(落在D1 区域,则判定H1 假设为真;反之,则判定H0 假设为真,如图3.
图3.
2 双择检测示意图
这样会出现4种可能的判决结果:
(1)实际是H0 假设为真,而判决为H0 假设为真;
(2)实际是H0 假设为真,而判决为H1 假设为真;
(3)实际是H1 假设为真,而判决为H0 假设为真;
(4)实际是H1 假设为真,而判决为H1 假设为真。
显然,(1)、(4)两种判决是正确的,(2)、(3)两种判决是错误的。
设代价函数Cij
表示实际是Hj
假设为真,而判决为Hi
假设为真所付出的代价,也称
为风险函数。第一个下标表示选择哪一种假设为真,第二个下标表示哪一种假设实际为真。
当H0 假设为真,而判决为H1 假设为真,即本来无信号而判决为有信号,称为虚警,也
称为第一类错误。虚警发生的概率表示为P(D1|H0), 称为虚警概率。虚警引入的代价称
为虚警代价,记作C10 。
当H1 假设为真,而判决为H0 假设为真,即本来有信号而判决为无信号,称为漏报,也
称为第二类错误。漏报发生的概率表示为P(D0|H1), 称为漏报概率。漏报引入的代价称
为漏报代价,记作C01 。
正确判决应无代价,一般记作C00=C11=0。正确判决的概率分别表示为P(D1|H1)
和P(D0|H0), 称为检测概率。
双择检测的本质是如何决定判决区间的划分,使判决在某种意义上为最佳。即如何设
计信号处理系统,以便能够最佳地从干扰背景中发现信号和提取信号所携带的信息,这也是
设计各种条件下的最佳接收机(又称理想接收机,是指在检测时能够使错误判决为最小的接
·41·
收机,或是能够从信号加噪声的波形中提取最多有用信息的接收机), 并根据其输入做出有
无信号或信号参量取值的决策。
3.最大后验概率准则
2
2.接收机结构形式
3.1
在二元检测中,信源的输出有s0(和s1(两种状态,对应H0 和H1 两种假设。两个
t) t)
输出发生的概率P(H0)和P(H1)称为先验概率。先验概率表示实验进行之前,观察者关
于源的知识。
H0 和H1 两个假设总有一个要发生,因此有
3)P(H0)+P(H1)=1 (3.
用条件概率P(H0|x)表示在得到样本
x
的条件下,H0 假设为真的概率。用P(H1|x)
表示在得到样本
x
的条件下,H1 假设为真的概率。这两种条件概率都称为后验概率。
二元检测就是根据观测到的样本值x,选择或判决H0 假设为真还是H1 假设为真。
判决必须遵循一定的原则或准则。一种直观上合理的准则就是最大后验概率准则,按
照这个准则就是要选择最可能出现的信号为最终的判决结果。也就是,若
P
(H0|x)>
P(H1|x), 则判决H0 假设为真;反之,判决H1 假设为真。记作
H1
P(H1|x)1 (3.
P(H0|x)H.0 4)
即选择与最大后验概率相对应的那个假设作为判决结果,这个准则称为最大后验概率准则
(maximumaposteriorprobabilitycriterion,简称MAP 准则), 或记作
H1
P((5)
P(H1|x). H0|x)3.
H0
也可表示为P(H0|x)/P(H1|x)>1,判为H0 假设为真;反之,判为H1 假设为真。
根据贝叶斯(Bayes)公式,后验概率可以表示为
P(Hi|x)=
P(Hi)P(x|Hi)3.
其中,P(Hi)为Hi
假设发生的先验概率。
P(x) (6)
若随机变量
X
的概率密度函数为f(x), 则
=P(
x
≤
X
≤x+dx)≈f(dx
3.
P(x)x)(7)
同理
=P(x|Hi)≈f(d(8)
式中,f(x|Hi)称为条件概率密度函数,在概率论中又称为似然函数。
将式(3.和式(8) 3.得
P(Hi)f(x|Hi) (9)
P(x|Hi)
x
≤
X
≤x+dx|Hi)
x
3.
7) 3.代入式(6),
P(Hi|x)=f(x)3.
4),
P(H1)f(x|H1)
将上式代入最大后验概率准则公式(3.得
H1
P(H1|x) f(x) f(x|H1)P(H1)1 10)
P(H0|x)=P(H0)f(x|H0)=f(x|H0)P(H0)H.0 (3.
f(x)
·42
·
上式也可以等效为
H1
f(x|H1) P(H0) P(H0) 3.
l(x)=f(x|H0)H.0
l0=P(H1)
=
1-P(H0) (11)
式中,l(x)称为似然比,P(H0)/P(H1)称为门限值。
由上式可见,判决过程变为求出在不同假设条件下似然函数的似然比,然后与门限值相
比,如果大于门限值,则判决H1 假设为真;否则,判决H0 假设为真。其接收机结构形式如
图3.
l0=
3所示。
图3.
3 最大后验概率准则下的接收机形式
【例3.
1】设在某二元通信系统中,有通信信号和无通信信号的先验概率分别为
P(H1)09、H0)0.x|H1)025 和f(=
=.P(=1。若对某观测值
x
有条件概率分布f(=.x|H0)
0.试用最大后验概率准则对该观测样本
x
进行分类。
45,
解法1:利用Baes公式,分别计算H1 和H0 的后验概率
为
=
P(0.9
1≈0.
P(H1|x)
yf(x|H1)H1)
=
25×0.833
Σf(x|Hi)P(Hi)0.9+0.
1 25×0.45×0.
=0
P(H0|x)=f(x(i) |H0)H0)
=
45×0.167
Σf(x|Hi)P(Hi) 25×0.45×0.
1
P(
0.0.9+0.1
1≈0.
i=0
根据最大后验概率准则可知
P(H1|x)>P(H0|x)
故合理的判决是把
x
归类于有信号状态,即判决H1 假设为真。
解法2:
25
由于l(x)= f(x|H1)=0.45≈0.56
f(x|H0)0.
0.
P(H0)
=
1 11
l0=P(9≈0.
H1)0.
所以判决H1 假设为真。
l(x)>l0
3.2
接收机性能评价
2.
最大后验概率准则可以使平均错误概率为最小。下面予以证明
。
虚警概率
为
P(D1|H0)∫f(d(3.
=x|H0)
x
12)
D1
漏报概率为
·43·
P(D0|H1)=f(x|H1)
x
(13)
d
3.
D0
总错误率
(
即平均错误概率)为
∫
Pe
=P(
=P(H1)f(x+P(H0)f(H0)(
H1)P(D0|H1)+P(H0)P(D1|H0)
x|H1)dx|dx
3.14)
∫
∫
D0
D1
因为D0、D1 覆盖了
x
的全部空间,故
d=
15)
D0+D1
即
∫f(x|H1)
x
1 (3.
∫f(x|H1)d∫f(x|H1)x=
1
(16)
x+
d
3.
D0
D1
P(D0|H1)=∫f(x|H1)dx=1-∫f(x|H1)dx
D0
D1
=1-P(
(3.
D1|H1)
17)
同理
P(D1|H0)=1-P(D0|H0) (3.
利用式(3.消去式(14)中的D0,则有
18)
17)
3.
Pe
=P(H1)1-f(x|H1)dx
+P(H0)f(x|H0)dx
∫ ∫
D1
D1
=P(H1)+∫[H0)x|H0)H1)x|H1)]d(3.
P(f(-P(f(
x
19)
D1
为使总错误率最小,显然应该选择使第二项的被积函数在D1 区域不为正,即
P(H1)x|H1)>P(f((20)
f(H0)x|H0)
3.
f(x|H1) P(H0)=l0
(21)
f(x|H0)>P(H1)
3.
这恰好是最大后验概率准则,故最大后验概率准则又称为最小错误概率准则。
【例3.在存在加性噪声的情况下, 设噪声服从均
2】测量只能为1V 或0V 的直流电压,
值为0、方差为σ2的正态分布,试对一次测量结果进行分类。
解:根据正态分布的概率密度函数形式
σ2
2πσ
f(x|H0)
=
1e -x22
1(x-1)2
-
2σ2
f(x|H1)
=
2πσ
e
似然比为
l(x)=
f(x|H1)=e(x-1)2 x2 e2x-1
-
2σ2 +
2σ2
=
2σ2
f(x|H0)
根据最大后验概率准则,判决规则
为
l(x)22xσ-
21H1
=e.l0
H0
由于ln(x)是
x
的单调函数,故对上式两边取对数不等式依然成立
。
·44
·
2x -1
2σ2 .
H1
H0lnl0
即
x .
H1
H0
12
+σ2lnl0 =β
可见,当观测值x 大于12
+σ2lnl0 时,判为被测直流电压为1V;当观测值小于12
+σ2lnl0
时,判为被测直流电压为0V。
上述判决过程可以认为是以β 为分界点,将x 的样本空间(-∞,∞)划分为D0(区间
范围为(-∞,β))和D1(区间范围为(β,∞))两部分,如图3.4所示。若x 落入D0 区域,判
为H0 假设(0V)为真;若落入D1 区域,则判为H1 假设(1V)为真。
图3.4 例3.2中似然函数及虚警和漏报概率图示
二元数字通信系统中,经常设定等概发送二元信号,即P (H0)=P (H1)=0.5。此时,
l0=1,β=0.5,漏报概率和虚警概率相等。
3.3 最小风险Bayes准则
3.3.1 接收机结构形式
最大后验概率准则只能使平均错误概率最小,并未考虑两类错误判决所造成的损失大
小。Bayes准则是使平均风险(也称为平均代价或平均损失)最小的准则。
风险函数Cij表示实际是Hj 假设为真,而判决为Hi 假设为真所引起的风险。
从理论上讲,正确判决的风险小于错误判决的风险,因此
C01 -C11 >0
C10 -C00 >0 { (3.22)
在已知H1 假设为真的条件下,做出判决的平均代价称为H1 假设下的条件风险,记作
γ1,即
γ1 =P(D0|H1)C01 +P(D1|H1)C11 (3.23)
在已知H0 假设为真的条件下,做出判决的平均代价称为H0 假设下的条件风险,记作
γ0,即
γ0 =P(D0|H0)C00 +P(D1|H0)C10 (3.24)
由于事先并不知道是H1 假设还是H0 假设为真,因而总的平均代价,即平均风险应为
各条件风险按其先验概率进行平均。
·45·
R =P(H0)H1)
γ0+P(γ1
=P(H0)[P(D0|H0)C00+P(D1|H0)C10]
+
P(H1)[P(D0|H1)C01+P(D1|H1)C11] (25)
3.
Bayes准则就是按照使
R
为最小的原则来划分D0 和D1 区域。
将P(D0|H1)=1-P(D1|H1),P(D0|H0)=1-P(D1|H0)代入上式,得
R
=P(H0){[1-P(D1|H0)]C00+P(D1|H0)C10}
+
P(H1){[1-P(D1|H1)]C01+P(D1|H1)C11}
=P(H0)C00+P(H1)C01+P(H0)(C10-C00)P(D1|H0)
P(H1)(-C11)D1|H1) (3.
C01P(26)
将虚警概率及检测概率的计算公式代入上式,得
R=P(H0)C00+P(H1)C01+∫[P(H0)(C10-C00)f(x|H0)
D1
P(H1)(C01-C11)x|H1)]
x
(3.
f(d27)
上式中,由于第一项、第二项为常数项,P(H0)(C10-C00)f(x|H0)和P(H1)(C01C11)f(x|H1)均为正,故欲使
R
为最小,必须把第三项的被积函数不为正的点分配到D1
域,即
P(H0)(C10-C00)f(x|H0)<P(H1)(C01f(x|H1) (3.
-C11)28)
f(x|H1) C10-C00 ·P(H0) (3.f(x|H0)>C01-C11 P(H1) 29)
因此,最小风险Bayes准则叙述为,若
f(x|H1) (C10-C00)P(H0) 30)l(x)=f(x|H0)>(C01-C11)P(H1) (3.
f(x|H1)H1(P(H0)则判决x∈H1,反之x∈H0。也可以等效为l(x)= f(x|H0).l0=(
C10-C00)
P(H1)。H0 C01-C11)
若将l0=(C10-C00)P(H0)/(C01-C11)P(H1)也视为一个门限值,则Bayes准则也
是一种似然比检验,即将似然函数l(x)与门限值l0 比较。若l(x)>l0,判决H1 假设为
真;反之, 其接收机结构形式如图3.
则判决H0 假设为真,5所示。
图3.s准则下的接收机形式
5Baye
(
下面是Bayes准则的另一种推导方法。
-β)设判决区间D0、D1 的分界点为β,则区域D0 和D1 的区间范围分别为(∞,和
β,∞)。
平均风险为
R=P(H0)[C00P(D0|H0)+C10P(D1|H0)]
+
P(H1)[C01P(D0|H1)+C11P(D1|H1)
]
·46
·
=P(H0)C00∫βf(x|H0)dx+C10∫∞ f(x|H0)dx+
-∞
β
P(H1)C01∫βf(x|H1)dx+C11∫∞ x|H1)dx
(31)
f(3.
-∞
β
dR
要使平均风险
R
为最小,可令dβ
=0,得
dR
=P(H0)[β|H0)β|H0)]+
dβC00f(-C10f(
P(H1)[β|H1)β|H1)]=(
C01f(-C11f(0 3.32)
得
f(β|H1) P(H0)(C10-C00)l0=
=
f(β|H0)P(H1)(C01-C11)
因此,Bayes准则可表示为
f(x|H1) (P(H0)
H1
l(x)=l0=
C10-C00)(3.33)
f(x|H0). H0(C01-C11)P(H1)
3.3.2
Bayes准则与最大后验概率准则的关系
(1)Bayes准则与最大后验概率准则均属于似然比检验,只是门限值不同而已。
(2)最小风险Bayes准则的门限值不仅与先验概率P(H0)和P(H1)有关,而且还与代
价函数C10 、C00 、C01 、C11 有关。最大后验概率准则的门限值仅与先验概率有关。
(3)最大后验概率准则是最小风险Bayes准则中取C10-C00=C01-C11 时的一种特
例。一般地,C00=C11=0,C10=C01,即最大后验概率准则中两类错误判决的代价是相同
的,故又将最大后验概率准则称为理想观测者准则,理想指最少主观偏见。
3.最小错误概率准则
4
在二元假设检验的情况下,判决的平均错误概率为
Pe=P(H1)D0|H1)+P(P((3.
P(H0)D1|H0) 34)
最小错误概率准则就是使上述平均错误概率为最小的准则。
比较上式与Bays准则中的平均风险表达式(25), 当C00=C11=C10=
e3.可以看到, 0、
C01=1时,平均风险等于平均错误概率,平均风险最小等价于平均错误概率最小,即
R
=P(H0)[P(D0|H0)C00+P(D1|H0)C10]
+
P(H1)[P(D1|H1)C11+P(D0|H1)C01]
=P(H0)D1|H0)+P(P(=Pe
(35)
P(H1)D0|H1)3.
事实上,风险函数的确定是非常困难的。在雷达系统中漏报的风险就很难确定;二元数
字通信系统中,“0”“1”码误判的风险也很难确定。因此,在许多应用场合,常常假定正确判
决的风险为零,错误判决的风险为1。在此条件下,Bayes准则就转化为最小错误概率准则。
将C00=C11=0、C10=C01=ays准则的判决公式(33) 得到最小错误概率
1代入Be3.中,
准则的判决公式,为
H1
l(x)f(x|H1) P(H0) (3.
=f(x|H0)H.0P(H1) 36)
·47·
最小错误概率准则下的接收机结构形式如图3.6所示。
图3.6 最小错误概率准则下的接收机结构形式
由此可见,最小错误概率准则与最大后验概率准则的判决公式相同,均称为理想观测者
准则。
【例3.3】 设x1,x2,…,xn 是统计独立的方差为σ2 的高斯随机变量,在H1 假设下均
值为a1,H0 假设下均值为a0(a1>a0),试对其进行判决,并证明随着观测次数n 的增加,
判决的错误概率减小。
解:在H1 假设下,x1,x2,…,xn 的联合概率密度函数为
f(x|H1)=f(x1,x2,…,xn |H1)
=f(x1|H1)f(x2|H1)…f(xn |H1)= 1
2πσ
.
è .
.
. ÷
n
e-Σn
i=1(xi-a1)2
2σ2
在H0 假设下,x1,x2,…,xn 的联合概率密度函数为
f(x|H0)= 1
2πσ
.
è .
.
. ÷
n
e-Σn
i=1(xi-a0)2
2σ2
似然比为
l(x)=
f(x|H1)
f(x|H0)=e-Σn
i=1(xi-a1)2
2σ2 +Σn
i=1(xi-a0)2
2σ2
指数部分可以进行如下简化:
- Σn
i=1 (xi -a1)2
2σ2 + Σn
i=1 (xi -a0)2
2σ2
= 1
2σ2
.
è .
Σn
i=1
x2i
- Σn
i=12a0xi +na20
- Σn
i=1
x2i
+ Σn
i=12a1xi -na21
.
. ÷
=
a1 -a0
σ2 Σn
i=1
xi -
n(a21
-a20
)
2σ2 =
n(a1 -a0)
σ2 ..x -
n(a21
-a20
)
2σ2
根据判决公式得
l(x)=en(a1-a0)
σ2 ..xn(
a21
-a20
)
2σ2 .
H1
H0
l0
即
..x .
H1
H0
a1 +a0
2 + σ2
n(a1 -a0)lnl0 =β
根据算术平均值的分布,写出其概率密度函数
·48·
f(..x|H1)= n
2πσe-
n(..x-a1)2
2σ2
f(..x|H0)= n
2πσe-
n(..x-a0)2
2σ2
两种错误概率分别为
P(D1|H0)=∫∞
β
f(..x|H0)d..x =∫∞
β
n
2πσe-
n(..x-a0)2
2σ2 d..x
P(D0|H1)=∫β
-∞
f(..x|H1)d..x =1-∫∞
β
n
2πσe-
n(..x-a1)2
2σ2 d..x
根据误差函数的计算公式
erf(x)= 2
π∫x
0e-t2dt
令t= n (..x-a0)
2σ ,得dt= n
2σd..x,d..x= 2σ
n dt,代入上式得
P(D1|H0)= 1
π∫∞
n (β-a0)
2σ e-t2dt=12
2
π∫∞
0e-t2dt- 2
π∫n (β-a0)
2σ
0 e-t2dt é
. êê
ù
. úú
=12
1-erf n (β-a0)
2σ
.
è ..
.
. ÷÷
é
.
êê
ù
.
úú
同理
P(D0|H1)=1- 1
π∫∞
n (β-a1)
2σ e-t2dt=1-12
2
π∫∞
0e-t2dt- 2
π∫n (β-a1)
2σ
0 e-t2dt é
. êê
ù
. úú
=1-12
1-erf n (β-a1)
2σ
.
è ..
.
. ÷÷
é
.
êê
ù
.
úú
=12- 12
erf n (a1 -β)
2σ
.
è ..
.
. ÷÷
当观测次数n→∞时,erf n (β-a0)
2σ
.
è ..
.
. ÷÷ →1,erf n (a1-β)
2σ
.
è ..
.
. ÷÷
→1,故P(D1|H0)→0,
P(D0|H1)→0。
可见,随着观测次数的增加,判决的错误概率降低。
3.5 极大极小准则
在使用Bayes准则时,必须事先知道各个代价因子Cij(i,j 为0 或1)和先验概率
P(H0)及P(H1)。在有些情况下,这些参数难以确定。如在雷达观测中,敌机出现与不出
现的先验概率很难确定,虚警与漏报的代价也无法估计。在博弈时,对手出某牌的先验概率
也很难知道。
在先验概率未知的情况下,要想使用Bayes准则就必须首先推测一个先验概率P(H0)=
q(如在一些二元数字通信系统中,都假定先验概率相等,即q=0.5)。但采用推测的先验概
率进行判决可能会产生很大的风险。
·49·
极大极小准则是在先验概率未知的情况下,使可能出现的最大风险达到极小的一种判
决准则,也称为极小化极大准则。其关键是确定一个能使最大风险达到极小的先验概率。
再将此先验概率应用到Bayes准则的判决公式中,就得到了极大极小准则的判决公式。
3.5.1
不同P(H0)下的Bayes风险
假定P(H0)=q,则P(H1)=1-q。
显然判决区间D0、D1 的划分与先验概率
q
有关,使得第一、第二类错误概率也与
q
有关。
令
f(dα((37)
P(D1|H0)=∫x|H0)x=q)3.
D1
P(D0|H1)=∫f(x|H1)d=β(q) (38)
x
3.
D0
D0|H0)=-q),=-q)。当P(H1)→0,1)→0;
β(0)→0 。
对于未知的
q
值,Bayes风险为
R(q)=P(H0)[P(D0|H0)C00+P(D1|H0)C10]
+
P(H1)[P(D0|H1)C01+P(D1|H1)C11]
q[(α(q)β(β(
则P(1α(P(D1|H1)1β(α(P(H0)→0,
=1-q))C00+α(C10]
+
(1-q)[q)C01+
(1-q))C11]
q+C11(q)
+
(q)β(3.
=C001-C10-C00)α(q+
(C01-C11)q)(1-q)(39)
由于
R(0)C11+
(-C11)0)→C11 (40)
=C01β(3.
R(1)C10α(1)→C00 (41)
因此,R(q)
=C00+
(-C00)
.3.
与
q
之间的关系如图37中的曲线
A
所示。
3.2
假定P(=q1,实际P(H0)不一定
5.H0)
是q1
时的平均风
险
当先验概率未知时,只能按照推测的先验概
率
如q1 来设计Bayes检测,相对应于q1,把观测区
间
划分成D' '
于是虚警和漏报概率都是q1
0和D1区间,
的函数,分别为
P(D1|H0)∫D'f(d=q1) 3.
=x|H0)xα((42)
1
P(D0|H1)=∫x|H1)xβ((3.
f(d=q1) 43)
'
如果真实的先验概率为P(H0)=q(其(D) 中(0) 0≤q≤1), 则Bayes风险为
R(q,q1)=P(H0)[P(D0|H0)C00+P(D1|H0)C10]
+
P(H1)[P(D0|H1)C01+P(D1|H1)C11]
=q{[1-α(q1)1-q){q1)1-C11}
q1)]q1)]
C00+α(C10}
+
(β(C01+
[β(
=
{q1)(β(q1)}
α(
C00+
(C10-C00)-C11C01-C11)q+
·50·
图3.7 Bayes风险与极大极小风险
C11+
(C01β((3.
若令G(q1),
-C11)q1)
q1), 则上式变为
44)
q1)=(C00)Q(=(C11)
C10-α(q1)C01-β(
=[-C11+G(-Q(q+Q((45)
可见,R(q1) 其关系曲线如图3.
R(q,q1)C00q1)q1)]q1)+C11 3.
q,与
q
构成线性关系,7中的直线
B
所示。当真实的先验概
率
q
等于推测的先验概率q1 时,R(q1)R(当
q
不等于q1 时,q,
q
q1,q1)]
q,=q1); R(q1)>R()。因
此,直线
B
在点[R(与曲线
A
相切,且达到最小值。
由图可知,当真实的q∈[时,使用
R
(进行Bs检验,其风险不仅大于
q0,1] q,q1) ayeR(而且总大于曲线R(的极大值R(maq
越接近1,
q1), q) q)x,其风险越大
。
同理,直线
C
为用R(q2) ae对于q∈[q0]
比R(ma大。
q,设计的Bys检验。由图可见, 0,所冒风险均
q)x
若选择使Bayes风险为最大的先验概率q0 来设计Bayes检验,这时R(q,q0)是一条在
点[R(与曲线
A
相切的直线D, 无论实际的
q
为
q0,q0)] 且该直线平行于横坐标轴。此时,
多大,其风险均等于最大Bayes风险,这样就可以避免引起太大的风险,即使最大可能的风
险极小化,这就满足了极大极小准则。极大极小准则等效于选择最不利的先验概率q0,使
Bayes风险极大化。虽然这种做法是保守的,但它避免了错误估计
q
而带来的更大风险。
当用q0 来设计BaeR(q0) R(q0) 即
ys检验时,q,与曲线
A
相切,q,的斜率为0,
dR(q,q0) α(-(q0)(46)
q0)β(03.
dq
=C00-C11+
(C10-C00)C01-C11)=
将上式变形,可以得到
α(=C01β((3.
C00+
(C10-C00)q0)C11+
(-C11)q0) 47)
将上式代入式(3.得到极大极小风险,为
39),
R(=q0+C11(q0)
+
(-C00)q0)C01β(q0)
q0)C001-C10α(q0+
(-C11)q0)(1
=[C00+
(-C00)q0)]-[C01β(q0+
C10α(q0C11+
(-C11)q0)]
C11+
(C01β(
-C11)q0)
=C11+
(-C11)q0)
C01β(
=C00+
(-C00)q0) 3.
C10α((48)
根据上式可求得的q0,将q0 代入Bayes准则的判决公式即可得到极大极小准则的判决
公式,为
l(x)f(x|H1) (C10q0(
H1
=l0-C00)3.
f(x|H0)H.0
=
(-C11)(1-q0) 49)
C01
极大极小准则下的接收机结构形式如图3.
8所示。
图3.
8 极大极小准则下的接收机结构形式
【4】
例3.在二元数字通信系统中,时间间隔
T
秒内,发送一个幅度为
d
的脉冲信号,
即s1=d,代表1;或者不发送信号,即s0=0,代表0。加性噪声服从零均值和单位方差的高
·51·
斯分布,当先验概率未知,正确判决不花代价,错误判决代价相等且等于1时,采用极大极小
准则计算一次测量结果的极大极小风险为多大? 相应的q0 为多少?
解:由题意可知,在两种假设情况下,其似然函数分别为
f(x|H0)= 1
2πe-x2
2
f(x|H1)= 1
2πe-(x-d)2
2
根据式(3.48)得,极大极小风险为
R(q0)=C00 + (C10 -C00)α(q0)=C11 + (C01 -C11)β(q0)
代入C00=C11=0,C01=C10=1,得
R(q0)=α(q0)=β(q0)
由于
α(q0)=∫∞
β
1
2πe-x2
2 dx =∫∞
β
2
1
πe-t2dt=12
2
π∫∞
β
2e-t2dt=12
1-erf β
2
.
è .
.
. ÷
é
. êê
ù
. úú β(q0)=∫β
-∞
1
2πe-(x-d)2
2 dx =1-∫∞
β
1
2πe-(x-d)2
2 dx =1-12
2
π∫∞
β-d
2e-t2dt .
è .
.
. ÷
=1-12
1-erfβ-d
2
.
è .
.
. ÷
é
. êê
ù
. úú
=12
1+erfβ-d
2
.
è .
.
. ÷
é
. êê
ù
. úú
=12
1-erfd -β
2
.
è .
.
. ÷
é
. êê
ù
. úú
可以得到
β=d -β, β=d2
得到极大极小风险为
R(q0)=12
1-erf d
2 2
.
è .
.
. ֎
. êê
ù
. úú
根据极大极小准则,得
l(x)=
f(x|H1)
f(x|H0)=e2dx-d2
2 .
H1
H0
q0
1-q0
即
2dx -d2 .
H1
H02ln q0
1-q0, x .
H1
H0
d2
+1 dln q0
1-q0
=β=d2
得
q0
1-q0
=1, q0 =P(H0)=12
即二元数字通信系统采用等概发送。
3.6 Neyman-Pearson准则
使用Bayes准则需要知道先验概率和代价函数。在先验概率未知情况下,可以使用极
大极小准则。但在许多情况下,如雷达检测中,要指定代价函数和先验概率都很困难,上述
·52·
准则无法使用。运用Neyman-Pearson(奈曼-皮尔逊)准则不需要知道代价函数和先验概
率。它假定有一类错误较其他错误更为重要,因而对这一类错误出现的概率进行严格限制,
然后再去确定能使其他错误概率最小的判决门限。
Neyman-Pearson准则是在给定虚警概率的情况下,使检测概率尽可能大,即漏报概率
尽可能小,但漏报概率的减小又会使虚警概率增大,因此在实际中要统筹兼顾、辩证分析、折
中处理,漏报概率尽可能小是最低要求。
NeymanPasn准则限定P(=α为常数),根据这个限定设计一个检验,使-eroD1|H0)α(
得P(D1|H1)最大或P(D0|H1)最小。应用拉格朗日(Lagrange)乘子
λ
构造下述目标
函数。
J=P(D0|H1)+λ[P(D1|H0)-α]
=∫f(x|H1)dx+λ∫f(x|H0)dx-
α
D0 D1
=∫f(x|H1)dx+
λ
1-∫f(x|H0)dx-
α
D0 D0
=λ(1-α)+∫[f(x|H1)λf(x|H0)]dx
(50)
-3.
D0
要使
J
达到最小,只有把上式中被积函数不为正的点分配到D0 域,即x∈D0 时
(x|H0) 51)
或将式(3.变换为
f(x|H1)<λf(3.
50)
J=∫f(x|H1)dx+λ∫f(x|H0)dx-
α
D0 D1
=1-∫f(x|H1)dx+λ∫f(x|H0)dx-
α
D1 D1
=1-λ+∫λf(-f(d(52)
α[x|H0)x|H1)]
x
3.
D1
要使
J
达到最小,只有把上式中被积函数不为正的点分配到D1 域,即x∈D1 时
f(x|H1)>λf((3.
由式(3.和式(53)得到判决公式为
x|H0) 53)
51) 3.
H1
f(x|H1) 3.
f(x|H0)H.0
λ
(54)
显然也是一种似然比检验,门限值为拉格朗日乘子λ,其值由给定条件P(D1|H0)=
α
来确
定。其接收机结构形式如图3.
9所示。
图3.n准则下的接收机结构形式
9 Neyman-Pearso
在最小风险Bayes判决准则中,若令
55)C00=C11=0,C10P(H0)=λ,C01P(H1)=1 (3.
·53·
则
f(x|H1)
f(x|H0).
H1
H0
(C10 -C00)P(H0)
(C01 -C11)P(H1)=λ (3.56)
Bayes判决准则即变为Neyman-Pearson准则。
【例3.5】 在加性噪声背景下,测量0V 和1V 的直流电压,在P(D1|H0)=0.1的条件
下,采用Neyman-Pearson准则,对一次观测数据进行判决。假定加性噪声服从均值为0,方
差为2的正态分布。
解:根据正态分布的概率密度函数得
f(x|H0)= 1
2 πe-x2
4
f(x|H1)= 1
2 πe-(x-1)2
4
根据Neyman-Pearson准则的判决规则,可得
f(x|H1)
f(x|H0)=ex2
-14
.
H1
H0
λ
上式判决等效于
x .
H1
H0
12
+2lnλ =β
对于Neyman-Pearson准则,门限λ 应满足P(D1|H0)=α 的约束条件,即
P(D1|H0)=0.1=∫D1
f(x|H0)dx =∫∞
β
1
2 πe-x2
4dx
=12
é
. êê
2
π∫∞
0 e- x2
( ) 2dx2
- 2
π∫β
0e- x2
( ) 2dx2
ù
. úú
=12
1- 2
π∫β2
0e-t2dt é
. êê
ù
. úú
=12
1-erfβ2
.
è .
.
. ÷
é
. êê
ù
. úú
得
erfβ2
.
è .
.
. ÷
=1-0.2=0.8
查误差函数表得 erf(0.9)=0.796915
因此
β2
=0.9, β=1.8
得到判决规则,为
x .
H1
H01.8
由于12
+2lnλ=1.8,lnλ=0.65,λ=e0.65=1.92。
·54·
3.7 M 元检测
前面讨论的二元信号检测问题,是在H0 和H1 两个假设之间进行选择。在实际应用
中,还会遇到多元信号检测问题。如在数字通信系统中,常常通过传输M 个信号来传递信
息,这种情况就属于M 元检测问题。
假设发送端有M 个可能的输出s1(t),s2(t),…,sM (t),对应有M 个假设,记作
H1:x(t)=s1(t)+n(t)
H2:x(t)=s2(t)+n(t)
.
H M :x(t)=sM (t)+n(t)
ì
.
í
...
...
(3.57)
从中选择一个并假设为真,即为M 择1假设检验,或称为M 元检测。
3.7.1 M 元检测的Bayes准则
Bayes准则是使判决的平均风险达到极小的准则。要利用Bayes准则,各类假设的先
验概率和各种判决的代价函数必须已知。设Cij 为Hj 假设为真而选择了Hi 假设的代价,
P(Hj)为Hj 假设的先验概率,则平均风险为
R =ΣM
i=1ΣM
j=1
CijP(Di|Hj)P(Hj) (3.58)
Bayes准则是使平均风险R 最小,即在给定样本x 的情况下,选择Hi 假设为真所产生
的风险比选择Hj(j≠i)假设为真所产生的风险小。
在观测样本为x 的条件下,选择Hi 假设为真的条件代价为
Ci =ΣM
j=1
CijP(Hj|x) (3.59)
其中,P(Hj|x)表示给定观测样本x 后,Hj 假设为真的概率,亦称Hj 假设的后验概率。
如在二元检测中
C0 =C00P(H0|x)+C01P(H1|x) (3.60)
C1 =C10P(H0|x)+C11P(H1|x) (3.61)
Bayes准则的判决规则是选择最小Ck 所对应的那个Hk 假设为真,即若有
Ck <Ci, i=1,2,…,k -1,k +1,…,M (3.62)
则选择Hk 假设为真。
根据条件概率乘法公式,有
P(Hj|x)=
f(x|Hj)P(Hj)
f(x) (3.63)
式中,f(x)为输入样本x 的先验概率密度函数。
有
Ci =ΣM
j=1
Cij
f(x|Hj)P(Hj)
f(x) (3.64)
令
·55·
Li= Σ(M) Cijf(x|Hj)P(Hj)
j=1
则
Ci=
Li
(3.
f(x) 65)
由于f(x)与假设无关,因而选择Ci
最小等价于选择Li
最小。即Bayes检验变为计算
Li,并判决Li
为最小Lk
对应的那个Hk
假设为真, 10所示。
其接收机结构形式如图3.
图3.s准则下的
M
元检测接收机形式
10Baye
3.2 M
元检测的最大后验概率准则
7.
采用Bayes准则,必须同时知道各假设的先验概率和各种错误代价。当代价函数未知
时,一般假定正确判决无代价,错误判决代价相等且为1,即Ci
=0,Cij
=1(在此情况
下,Bayes准则等效为最大后验概率准则。
i≠j),
将Ci
=0,Cij
=i≠j)3.中,
1(代入式(59) 得
Ci= Σ(M) P(Hj|x) (66)
3.
j=1 j≠
i
由于Ci
的和式中恰好缺少P(Hi|x),因而有
M
P(=P(Hi|x)-P(Hk|x) (67)
Ck
-Ci=Σ(M) P(Hj|x)-Σ Hj|x)3.
j=1 j=
1
j≠kj≠
i
因此,选择所有Ci
中最小者Ck
,等价于选择所有P(Hi|x)中的最大者P(Hk|x),即
选择与最大后验概率P(Hk|x)所对应的那个Hk
假设为真,则为最大后验概率准则。其
接收机结构形式如图3.
11所示。
图3.
11 最大后验概率准则下的
M
元检测接收机形式
3.3 M
元检测的最大似然检验准则
7.
根据条件概率乘法公式(3.可知,P(Hk|x)>P(Hi|x)等价于
63)
P(Hk
)x|Hk
)>P(f((3.
f(Hi)x|Hi) 68)
当先验概率P(Hi)未知时,无法使用最大后验概率准则,一般假定各假设的先验概率
相等,即P(Hi)=1/
M
,此时,P(Hi)f(x|Hi)最大等效于f(
x
|Hi)最大,称为最大似
然准则。相应的判决设备称为最大似然处理器,或称为最大似然准则的接收机,如图3.
所示。
【例3.根据
n
维输入矢量x=[x1,xn
]
n
维输入矢量
6】x2,…,设计一种最佳检测器,
x=[x1,xn
] 和xj
是独立的,对下述4种假设做出判决:H1
x2,…,中的任意两个元素xi
·56
·
图3.12 最大似然准则下的M 元检测接收机形式
表示均值为1,H2 表示均值为2,H3 表示均值为3,H4 表示均值为4,各假设下的条件概率
密度函数是高斯的,方差为σ2,假定所有假设的先验概率相等,且Cij=1(i≠j),Cii=0。
解:根据先验概率相等,且Cij=1(i≠j),Cii=0的条件,四元假设检验可按最大似然
准则来设计。
4种假设可表示为
H1:xi =1+ni i=1,2,…,n
H2:xi =2+ni i=1,2,…,n
H3:xi =3+ni i=1,2,…,n
H4:xi =4+ni i=1,2,…,n
n 维输入矢量x=(x1,x2,…,xn)中的任意两个元素xi 和xj 是独立的,因此在各种假
设下的似然函数可表示为
f(x|Hk)= 1
2πσ
.
è .
.
. ÷
n
e-Σn
i=1
(xi-k)2
2σ2 , k =1,2,3,4
选择f(x|Hk)最大等效为选择Σn
i=1
(xi -k)2
2σ2 最小,由于
Σn
i=1
(xi -k)2
2σ2 = 1
2σ2Σn
i=1
x2i
- 1 σ2Σn
i=1
kxi + n
2σ2k2
= 1
2σ2Σn
i=1
x2i
- n
2σ2 2 nΣn
i=1
kxi é -k2
. êê
ù
. úú
= 1
2σ2Σn
i=1
x2i
- n
2σ2[2k..x -k2]
上式中,1 nΣn
i=1
xi =..x ,..x 表示x 的算术平均值。上式中的第一项与选择何种假设无关,所
以选择Σn
i=1
(xi -k)2
2σ2 最小,又等效为选择2k..x-k2 最大。
即判决准则变为比较2..x-1、4..x-4、6..x-9、8..x -16,并选择其中最大者所对应的假设
Hk 为真。
假定f(x|H1)最大,则必有
2..x -1≥4..x -4
2..x -1≥6..x -9
2..x -1≥8..x -16
ì
.
í
..
..
等价于选择H1 的区域D1 满足条件
..x ≤1.5
假定f(x|H2)最大,则必有
·57·
4..x -4≥2..x -1
4..x -4≥6..x -9
4..x -4≥8..x -16
ì
.
í
..
..
等价于选择H2 的区域D2 满足条件
1.5≤..x ≤2.5
假设f(x|H3)最大,则必有
6..x -9≥2..x -1
6..x -9≥4..x -4
6..x -9≥8..x -16
ì
.
í
..
..
等价于选择H3 的区域D3 满足条件
2.5≤..x ≤3.5
假设f(x|H4)最大,则必有
8..x -16≥2..x -1
8..x -16≥4..x -4
8..x -16≥6..x -9
ì
.
í
..
..
等价于选择H4 的区域D4 满足条件
..x ≥3.5
..x 服从高斯分布,其方差为σ2/n,均值分别为1、2、3、4,即..x 的条件分布密度函数为
f(..x|Hk)= n
2πσe-n(..x-k)2
2σ2
如图3.13所示。
图3.13 x- 的条件概率密度函数及判决域的划分
从图可以看出,M 元假设检验的实质是把输入空间划分成M 个区域,并在各个区域判
决相应的假设为真。
本章小结
本章主要介绍5种判决准则,它们都属于似然比检验,表达式均为
l(x)=
f(x|H1)
f(x|H0).
H1
H0
l0
只是所取门限值l0 不同而已。
·58·
(1)最大后验概率准则和最小错误概率准则的门限值l0= P(H0)
(2)最小风险Baes准则的门限值l0=(C10-C00)P(H0)
P(H1)
;
y(C01-C11)P(H1)
;
q0
(3)极大极小准则的门限值l0= (C10-C00)
(C01-C11)(1-q0)
;
(4)Neyman-Pearson准则的门限值l0=λ,即拉格朗日乘数。
其中,除Bayes准则外,其余4种准则都可以看作Bayes准则的派生准则或特例。
(1)最大后验概率准则是从信息论观点出发,后验概率谁大谁为真的准则,等效为C10
-C00=C01-C11 条件下的Bayes准则。
(2)最小错误概率准则是假设正确判决不花代价(C00=C11=0), 错误判决代价相等
(C01=C10=1)条件下的Bayes准则,也称为理想观测者准则。
(3)极大极小准则是使可能出现的最大风险极小化的一种判决准则,是选择最不利先
验概率的Bayes准则。
(4)Neyman-Pearson准则是给定虚警概率情况下,使漏报概率尽可能小的判决准则,
等效为C00=C11=0,C10P(H0)=λ,C01P(H1)=1条件下的Bayes准则。
另外,这5种判决准则的适用范围不同。
(1)当先验概率和代价函数均已知时,使用Bayes准则;
(2)当先验概率已知,代价函数未知时,使用最大后验概率准则或最小错误概率准则;
(3)当先验概率未知,代价函数已知时,使用极大极小准则;
(4)当先验概率和代价函数均未知时,使用Neyman-Pearson准则
。
因此,在使用过程中,要根据实际情况和给定条件,综合分析,选择使用
。
思考题
1. 最大后验概率准则和最小错误概率准则为何称为理想观测者准则?
2. 极大极小准则中的q0 如何求得?
3. 如何确定Neyman-Pearson准则中的拉格朗日乘数λ?
4. 试述最大后验概率准则、s准则、最小错误概率准则、极大极小准则和NeymaPearson准则的异同点。
Bayen
5. 如何理解最大后验概率准则、最小错误概率准则、极大极小准则和Neyman-Pearson
准则都是Bayes准则的特例?
习题
1. 在二元数字通信系统中,发送端等概发送2V 和0V 的脉冲信号,信道上叠加的噪声
服从均值为零,方差为σ2 的正态分布,试用最大后验概率准则对接收信号进行判决。
2.在存在加性噪声的情况下,测量只能为1V 或0V 的直流电压。设噪声均值为0、均
方根电压为σ=2V,代价函数为C01=2,C10=1,C00=C11=0。信号存在的先验概率
P
=
·59·