第5章训练无关的语义概念增强方法

基于语义分析的方法对视觉媒体进行索引已经远远超出了对若干独立概念探

测器的简单应用,通过结合多种概念信息及概念探测结果进行后期处理的方法可

以进行更加有效的语义检索。由于训练样本集本身的局限性,如人工标注的稀疏

性、不准确等缺点,基于特定训练样本集的方法用于对可视媒体进行精度的提高, 

往往面临着概念相关性(如概念同时出现的规律、本体关联关系等)难以准确获取

的问题。

在前面的研究现状中介绍过,可视媒体语义索引的提炼和精度增强是利用概

念相关性对索引结果进一步改善的关键技术。这种索引增强技术的作用,是通过

给出可视媒体进行概念探测的结果,对该结果应用概念的相关性进行调整和改善, 

以达到对大量可视媒体有效索引的目的。随着图像、视频等可视媒体在互联网上

体量的快速增长,以及在行为自动识别和分析中的多种应用,这种索引的增强方法

不可避免地需要满足三点要求:①对语义概念索引的灵活性;②对不同数量和质

量的标注数据的适应性;③对大规模样本数据的扩展性。在可视媒体语义索引增

强的过程中,应该尽量满足上述三点要求,这样才能保证增强方法在视觉媒体大数

据上的灵活应用,否则在进行索引增强的过程中,很难有效利用语义概念的相关

性,从而影响预期的效果。

为满足实际应用的要求,本章将详细介绍一种灵活有效的可视媒体语义索引

的精度增强算法。该算法将全局上下文语义关系、本体相关性、局部关联关系等语

义内容结合起来,在大大提高索引精度的同时,减少了对标注数据集和外部知识库

的依赖,在很大程度上提高了方法的灵活性。并且本方法的一个突出的优点是,能

在不受训练数据集和外部知识限制的情况下充分发掘概念本身存在的出现规律, 

以实现概念探测结果的自学习和自调整。

5.方法出发点
融合概念探测的结果以提供更高质量的语义分析和索引结果是充满挑战的问
题。当前的研究更多地集中于从训练数据集中学习得到概念间的显式(Explicit)
关系,并将这种量化关系应用于测试数据集。由于原始的语义概念探测的结果通


第5章训练无关的语义概念增强方法63

常是不准确和充满噪声的,在实际研究中很少有学者直接采用原始的探测结果进

行相关性分析并用于探测结果的增强。然而,依据TRECVid国际评测的结果,概

念探测的精度已经逐步达到可以接受的水平,尤其对于一些具有足够多标注样本

的概念[1-2]。尽管进行概念相关性的准确量化仍存在很多困难,但是这些具有更高

概念探测精度的结果应该可以用来作为提高整个索引效果的线索和依据,这是因

为概念之间不是相互独立而是紧密相关的。

对于日常行为记录,这些媒体内容往往存在很强的时间特性和局部相似特性。
视频记录中邻近帧之间存在很强的时间相关性,这种相关性也是很多压缩算法实
施的基础。在日常行为记录中,可穿戴式记录设备通过持续捕捉外界环境的变化
从而使镜头或关键帧之间在语义内容上是紧密相关的。这种相关性往往由可穿戴
式传感器所记录的相同场景或者穿戴者所持续从事的行为活动之间的关联特征所
决定,例如“做饭”行为中视觉概念如“冰箱”“微波炉”等出现的关联性。除了日常
行为记录,在社交媒体事件中持续拍摄或共享的静态图像间由于共同的位置、活动
或用户间的社交关系等也会产生很强的语义关联。对于这种语义关联的视觉媒体
处理,可以很自然地联想到利用它们内在的时序关联关系进行概念索引的后期处
理,即充分利用这些视觉媒体的局部邻近关系对语义识别的结果进行增强。

本章所介绍的训练无关的语义概念增强算法(TrainingFreRefinement, 
TFR)受如下4点启发。

(1)可靠性(Reliability)。对于一些概念的探测结果,其精度已经达到足够高
的程度,并可以用来作为进行其他概念结果精度增强的可靠依据。
(2)相关性(Corelation)。多个概念往往同时在单幅画面中出现,或者存在
一些概念相互排斥,即不能同时存在于同一幅画面中。也就是说,概念是相关的, 
却不是独立的。
(3)紧凑性(Compactnes)。由于概念的出现模式不是相互独立的,因而概念
索引的结果可以被映射到一个更加紧凑的语义空间,而不破坏原有的相关性。
(4)重复性(Re-Ocurence)。同一批概念经常在语义相近的媒体样本中重
复出现。因此,在具有时间关系的可视媒体,如邻近的视频关键帧、图像序列等,这
种邻近关系可以进一步得到利用。
5.方法描述
依据5.1节的假设,我们提出了训练无关的索引增强算法,该算法可以整合不
同精度概念探测结果的相关性,对整体概念索引的效果进行提高。在原始概念探
测过程中,单个概念探测器在单幅图像上的识别结果通常由返回的置信度
(Confidence)值来表示,对初始的概念探测置信度结果进行整合,可以构建结果矩
阵C。在该结果矩阵中,每行ci(1≤i≤
N 
)代表可视媒体的一个样本,如可穿戴式


64可穿戴式日常行为语义感知及增强方法

视觉设备记录的一幅图像或一个视频镜头;每一列vj 
(1≤j≤
M 
)代表用于语义索
引的单个概念。其中,
N 
和
M 
分别表示样本和词汇的个数。

如图5-1所示,本章提出的可视媒体语义索引的精度增强算法主要包括全局
增强(GlobalRefinement,GR)和近邻传播(NeighborhoodPropagation,NP)两部
分。这两部分分别通过本体支持的非负矩阵分解方法和基于相似度的图传播方法
进行,二者分别利用了概念出现的全局上下文特征和局部相似度特征来实现对原
始概念探测精度的改善。

GR 的出发点是,首先选择出具有更高可能性是正确的概念探测结果,这些结
果可以构建一个不完全但更可靠的矩阵,该矩阵可以通过分解的办法得到补全。
在图5-1(b)中,GR 通过加权的矩阵分解对原始探测结果矩阵
C 
中原本不精确的
元素进行估计。如果存在概念本体结构,那么本体关系可以在这个分解过程中用
于选择与
C 
对应的合适权重矩阵元素。在图5-1(c)中,以重新构建的矩阵C'为基
础计算样本间相似度,并根据该相似度为目标样本ci 
确定一定数量的最邻近样
本。然后,通过应用传播算法根据与每个样本互联的邻近样本对概念标签进行迭
代推理。


彩图5-1 

图5-1 训练无关的索引增强算法框架示意图

图5-1(为语义索引, -1(b)

a) 视觉媒体样本通过概念探测后返回结果矩阵C。图5

为全局增强,对
C 
进行调整并通过全局上下文模式修改为C'。图5-1(c)为近邻传

播,进一步通过相似度传播方法对C'进行修正。

5.1 概念探测结果分解
2.
在图5-1中,用不同的灰度值表示原始概念探测结果矩阵
C 
中置信度元素的
大小。在GR 过程中,对概念探测结果分解的目的是对矩阵
C 
进行调整,以使从
调整后结果中反映出的概念上下文关系与实际情况更加一致。非负矩阵分解方法
(Non-NegativeMatrixFactorization,NMF)在从具有稀疏特性的输入数据中获得


关键特征具有很强的优势,这种方法更加适用于像语义索引增强这种自身的标注
数据集具有稀疏性且C 中的置信度元素非负的情况。对C 应用非负矩阵分解的
目的是将其近似为..C=LR,其中,向量LN ×dRd×M 及分别代表d 维样本相关和概念
相关的隐含成分。通过应用自定义的优化规则,C 中的每个置信度值可以被调整
为c~
ij =Σd 
k=1
lik ×rkj。在GR全局调整过程中,可以采用加权低秩约束的方法优化
上述的分解问题,以反映不同精度概念探测结果对优化函数的影响。由于C 中每
个置信度元素cij表示概念vj 在样本ci 中出现的概率,当cij 的值较高时,对概念
vj 存在的估计可能更加正确。这个假设同样在本章文献[3]和[4]中被采用,即如
果概念探测器返回的置信度值高于某个阈值时,那么最初的探测器相对来说更加
可靠。为区分不同概念探测器对优化函数的贡献,我们在研究中采用一个权值矩
阵W =(wij)N ×M 进行约束,并对如下加权最小二乘函数进行优化。
F =12
Σij 
wij(cij -LiRj)2 +λ2
(L 2F + R 2F ) (5-1) 
其中,L ≥0,R ≥0,表示Frobenius范数。二次正则项λ(L 2F + R 2F )用于
防止在优化过程中出现过拟合。在实际应用过程中,可以在权重矩阵W 中为更加
可靠的探测结果对应的元素赋以较高的权值,而为不是很可靠的探测结果对应的
元素赋以较低的权值。在完成分解后,对探测结果的调整可以表示为对前后两个
置信矩阵的融合,即
C'=αC + (1-α)..C =αC(1-α)LR (5-2) 
在求解上述矩阵分解问题的过程中,采用了乘法方法(Multiplicative 
Method)[5]。不同于采用固定优化步长的方法,这种方法具有自动缩放学习速率
的优势。在不失普遍性的前提下,在下面的推导中以对矩阵R 的更新为例,对矩
阵L 的更新可以用相似的方法获得。受本章文献[5]的启发,本章为函数F(r)构
建一个辅助函数(AuxiliaryFunction)G(r,rk ),在这个函数中将矩阵L 以及矩阵
R、C 和W 中的对应列r、c、w 固定。函数G (r,rk )应该满足条件:G (r,rk )≥ 
F(r)和G(r,r)=F(r)。因此,函数F(r)按照如下的更新规则是不增的[5],即
rt+1 =argmin t 
G(r,rt) (5-3) 
其中,rt 和rt+1表示在连续的两次迭代中对r 值的更新。对上述定义的F,本章构
建G 函数为
G(r,rt)=F(rt)+ (r-rt)T.F(rt)+ 12
(r-rt)TK (rt)(r-rt)(5-4) 
其中,rt 是当前优化过程中的更新状态。定义D (·)为由向量构建的对角矩阵, 
上述式(5-4)中的K (rt)可以定义为
K (rt)=D (LTDwL +λI)rt 
rt 
.
è .
.
. ÷ 
(5-5) 
第5章 训练无关的语义概念增强方法65

66可穿戴式日常行为语义感知及增强方法

其中,Dw 
=D(w),上述的除法执行的是元素除法。因此,
r 
可以通过优化G(rt)

r,

进行更新。通过求解
.G(r=0r,t)
.
r 

可以获得

t

.F(t)+
K 
(t)rr0 56)

rrr-K(t)=(
其中,.F(t)=(Lt-c)+λt,代入式(-可以获得对
R 
的更新规则为

rLTDwrr56)
[LT(C..W)
]


Rt+1 kjkj 
←Rtj 
[LT(LR..W)](kkj 
+λRkj 
57) 
其中,..表示Hadamard即元素乘法。矩阵
L 
中的每个元素可以通过相似的更新
规则进行迭代,即
Lt+1←Lt 
[(C..W)RT]i(RT]

ik 
ik 
[(LR..W)ik 
+
kλLik 
5-8) 
需要说明的是,可以通过证明函数
G 
是
F 
的辅助函数进而证明上述的更新过
程是收敛的,这个证明将在5.3节给出。

2.
5.2 集成概念本体
2.
在5.1节,

2.应用了加权非负矩阵分解的方法进行了低精度概念探测结果的
调整,这种调整基于假设:如果
C 
中元素高于特定的阈值,则对应的概念探测将更
加可靠。如果为低置信度值都设置相同的权值,上述的方法将以相等的机会对这
些概念探测的结果进行调整。然而,在实际应用中并非如此,不同概念往往需要进
行不同力度的调整。为了从权值矩阵
W 
中反映概念的相关性,本章为基于非负矩
阵分解的方法引入一种新的本体加权策略(OntologicalWeightingScheme, 
OWS )。
为建模概念语义,首先构建了概念本体结构以方便从该本体结构中为不同的
概念推理出适当的权值,这种思路与本章文献[6]相似。其目的是更准确地构建矩
阵
W 
以反映不同概念之间的交互关系和各自不同的探测精度。基于这种启发,将
概念
v 
的祖先节点(Ascnat) Dsedn分别表示为ASC(和

edn和后代节点(ecnat) v)
DES()。类似地,将以显式方式在本体中建模的互斥(Disjoint)概念标记为
DIS(v)(v) 。由概念探测器返回的样本
x 
中出现概念
v 
的置信度值为Conf(v|x)。
引入多类边缘(Multi-ClasMargin)[7]为

Conv|-maxConvi|5

f(x)f(x) (9)

vi∈
D 

其中,
D 
为
v 
的互斥概念全集,即所有与
v 
不能同时出现的概念的集合。需要说
明的是,由于在本体中存在隐含的与
v 
互斥的概念,因此有D.DIS()。例如,在

v 

本体结构中只描述了“室内”和“室外”,二者是互斥的概念,其中“树”“天空”和“路” 
是“室外”的后代概念。因此,DIS(室外)只包括“室内”这一概念,而“室内”概念所


有互斥概念的全集D 包括“室外”和“室外”的所有子孙节点,如“树”“天空”和
“路”。事实上,全集D 包括DIS(v)和DES(DIS(v))以及DIS(ASC(v))。其中, 
DES(DIS(v))表示v 的互斥概念的全部子孙概念,DIS(ASC(v))表示v 的祖先概
念的全部互斥概念。所有这些对概念关系的陈述(Statement)可以在本体中直接
声明或进行推理。然而,在推理过程中需要采用推理机(Reasoner)对隐含的互斥
陈述进行逻辑上的推理。RDFS[8]和OWL[9]等不同的推理机可以在本体推理过
程中直接采用,并在算法中执行获得隐含概念关系的任务。通过引入本体结构,可
以将W 中的元素进一步赋值为
wij ∝1- (cij - max vk ∈D
cik) (5-10) 
这种加权策略可以解释为:如果与概念vj 互斥的概念具有更高的探测置信
度值,则vj 在样本xi 中出现的可能性将会减小。在这种情况下,概念vj 的权值
应该适当增大。在相反的情况下,将会应用多类边缘的定义将权值减小。
5.2.3 收敛性证明
前面的推导可以直接得出G(r,rt)=F(r)是满足的,因此对G(r,rt)是函数
F(r)的辅助函数的证明,事实上仅需要证明G(r,rt)≥F(r)。为此,将函数F(r) 
扩展为如下形式。
F(r)=12
(c-Lr)tDw (c-Lr)+λ2
rtr+C(L) 
=F(rt)+ (r-rt)t.F(rt)+ 
12
(r-rt)t(LtDwL +λI(r-rt)t) 
(5-11) 
其中,I 是d×d 单位矩阵且C(L)只与L 有关。只需证明
(r-rt)t(F(rt)-LTDwL -λI)(r-rt)≥0 (5-12) 
这就等同于证明D LTDwLrt 
rt 
.
è .
.
. ÷ 
-LTDwL 是半正定的(PositiveSemi-definite)。为
此定义一个缩放矩阵为
M =D(rt) DLTDwLrt 
rt 
.
è ..
. ÷ 
-LTDwé L 
. êê
ù
. úú
D(rt) 
=D(LTDwLrt)D(rt)-D(rt)(LTDwL)D(rt) (5-13) 
对任意向量v,由于M 是对称的矩阵,可以得到
vTMv=Σij
viMijvj 
=Σij [rt i(LTDwL)ijrt
jv2i
-virt i(LTDwL)ijrt
jvj] 
=Σij (LTDwL)ijrt irt
j 12
v2i
+12
v2j
-vivj 
.
è .
.
. ÷ 
第5章 训练无关的语义概念增强方法67

=12
Σij (LTDwL)ijrtirt
j(vi -vj)2 ≥0 (5-14) 
至此,可以判断D LTDwLrt 
rt 
.
è .
.
. ÷ 
-LTDwL 是半正定的,因此G(r,rt)是F(r)的
辅助函数。这就证明了前面推导的式(5-7)和式(5-8)更新迭代规则是收敛的。
5.2.4 近邻相似性传播
如图5-1(c)所示,基于近邻关系的传播方法可以进一步对中间结果C'进行修
正并利用语义上更加相近的邻近样本对索引结果进行提高。这个过程主要包括两
部分,即基于相似度的邻近样本定位和图传播方法。
1.相似度度量
对原始概念探测结果通过全局调整GR方法进行修改之后,置信度值已经通
过加权非负矩阵分解进行了优化,并使结果反映出来的概念模式与建模后的隐含
特征相一致。尽管这个过程在全局对上下文模式进行了建模,相似度传播可以通
过利用样本的局部相关性进一步对结果进行修改,如图5-1(c)所示。在这个过程
中,为基于相似度传播提供更加相关的邻近样本显得至关重要,因此可以采用全局
优化后的中间结果C'以提供更精确的相似度度量。
为得到样本ci 和样本cj 的相似度量化,在中间结果C'上通过计算Pearson 
相关性进行求解: 
Pi,j = ΣM 
k=1(c'ik-c-'i)(c'jk-c-'j) 
ΣM 
k=1(c'ik-c-'i)2 ΣM 
k=1(c'jk-c-'j)2 
(5-15) 
其中,c'i=(c'ik)1≤k≤M 是矩阵C'的第i 行,c-'i是c'i的均值。为归一化(Normalize)该
相似度,采用高斯形式并重新计算相似度为
P'i,j=e-(1-Pi,j )2 
2δ2 (5-16) 
其中,δ 是对样本距离进行伸缩的函数。基于这种相似度度量,可以对任意的目标
样本ci 的k 个最近邻进行确定。
2.图传播方法
为执行图传播方法,基于近邻的传播过程首先依据上面的相似度度量确定k 
个最邻近的样本用于传播,这些样本与目标样本通过无向的边构成一个无向图。
在这个无向图中,每个边的权重由上面给出的Pearson相似度进行量化。根据构
建的全连接的无向图,本章在研究中采用了文献[10]的传播算法,更加精准地对概
念探测结果做出预测。在数学表示上,可以将上述构建的无向图表示为目标样本
68 可穿戴式日常行为语义感知及增强方法

ci 与k 个最近邻样本之间的相似度矩阵: 
G =(P'i,j)(k+1)×(k+1) (5-17) 
其中,矩阵G 的前k 行及前k 列代表目标样本(即待增强样本ci)的k 个最近邻样
本,最后一行和最后一列代表目标样本ci。
通过对矩阵G 进行列归一化处理,得到的传播概率矩阵T 可以进一步构建为
ti,j = 
P'i,j 
Σk+1 
l=1
P'i,j 
(5-18) 
这种列归一化方法保证了矩阵T 的每一列都具备概率解释。将目标样本ci 
的k 个最近邻样本在矩阵C'中的行索引表示为ni(1≤i≤k),并将相应的行向量
层叠在一起构成新的矩阵Cn =(c'n1 ,c'n2 ,…,c'nk ,c'i),则可以通过下面的传播方法
对矩阵Cn 进行更新: 
Ct
n ←TCt-n 1 (5-19) 
其中,C 的前k 行表示C'中的k 个最邻近样本,并由下标ni 进行索引,最后一行对
应于目标样本ci 的置信度向量。由于Cn 是C'的一个子集,因此构建在Cn 上的
图G 事实上是C'构建的全局图的一个子图,如图5-1(c)所示。在每一次迭代过程
中,Cn 中的向量C'ni 需要锁定并改写为原值,以避免在迭代过程中出现衰退。进行
一定数量的迭代之后,算法将收敛于某个新的结果,该结果中的最后一行为通过相
似度传播进行局部增强后的结果Cn 。通过这个过程,最近邻样本间的局部关系被
用来进行更加全面的索引增强。
5.3 语义平滑的索引增强
5.3.1 算法形式化 
按照5.2.1节对概念探测结果分解的过程,可以采用加权的Frobenius范
数[11-12]区分不同概念探测结果对优化函数的影响。分解得到的隐含因子可以将
不同的概念向量映射成语义单元的组合,从而概念间的上下文语义可以通过这种
新的编码方式进行评估。如果在这个过程中用外部已知的概念相关性对分解进行
约束,分解结果将可以更好地反映上下文信息从而使增强结果得到改善。与5.2.1节
类似,定义未进行语义平滑的成本函数为
G(W ,H )=12
Σij 
wij(cij -Wi·H·j)2 +λ2
(W 2F + H 2F ) (5-20) 
其中,矩阵W 和H 的维度分别为N ×r 和r×M ,其他变量的解释与式(5-1)一致。
同样,对该问题的最小化求解,可以通过对成本函数的迭代优化,以逐步减小近似
的误差。根据前面的解释,矩阵Hr×M 代表了M 个概念对应的低秩隐含特征。因
此,概念的相关性可以进一步由这种新的概念表示进行量化。同样,以加权的形式
第5章 训练无关的语义概念增强方法69

70可穿戴式日常行为语义感知及增强方法

定义平滑函数
S 
以约束这样一个事实,即具有更高相关性的两个概念在空间距离
上应该更加接近。在这样的假设下,
S 
可以由如下方式进行计算。
1 

2 
rel(i,)

FCoccj

S(
H 
)
= 
2Σ

H·i-H·
j 

ij 

HT l()HT l()

= 
Σ·ioccjHi-Σ·Crei,H·

Crei,·ioccjj 
ijij

HT HT l()

= 
Σ·iDiH·i-Σ·iCoreci,cjH·
j 
ijij

=tr(H(
D 
-Corel)HT)=tr(HLCrelHT) (5-21)

其中,
l 
是概念相关性矩阵,它的每个元素Cl((o) i,)代表两个概念c和

Cccj i 

cj 的相关(o) 性(re) 量化。Di= 
ΣjCorel(i,cj)构成了一(o) 个(re) 新的对角矩阵,且LCol 
=

cre

D-Corel表示概念相关性矩阵Corel 
的拉普拉斯(Laplacian)矩阵。通过对上面
定义的函数进行整合,可以得到经过语义平滑后的矩阵分解问题,即

miF(H)=
W 
,2S(H)..
H 
≥0 522)

n 
W 
,G(H)+
β 
stW 
,(

W 
,
H 

其中,非负标量
β 
用于控制概念相关性在优化F(
W 
,H)过程中的影响力度。在该
公式中G(
W 
,H)与S(H)之间通过共享概念特征矩阵
H 
进行互相约束,因此,分
解后的结果将受到概念相关性矩阵Corel 
的影响并与其保持一致。在这种情况
下,
l 
通过其拉普拉斯矩阵进一步影响到分解后的特征矩阵H。

Core

由于该优化问题目前没有解析解,因此可以采用经典的梯度下降法,沿着梯度
相反方向不断更新矩阵
W 
和H,在迭代过程中逐渐寻找局部的优化结果。S(
H 
)
对
H 
的梯度是.HS(H)=2HLCorel,因此,函数
F 
对应于
W 
和
H 
的梯度可以量化
计算为

.
F 
[(WH 
-C..W]HT+λL

.
W 
=

.
F 
WT[(WH 
-C)..W]+βHLCorel 
+λH 
(5-23)

.
H 
=
其中,..表示Hadamard乘法。通过语义平滑求解得到的矩阵
W 
和
H 
也可以进一
步应用到5.4节的传播方法中, 如

2.以对求解的中间结果进行进一步的语义增强
,
本章文献[11]详细介绍的方法
。
5.2 概念相关性的外部推理
3.
在一些上下文特征显著的应用领域,如可穿戴式行为感知过程中,概念在单个
事件(或行为)主题中具有更强的上下文关联性。概念往往在表示事件语义中扮演
不同的角色,并且其中某些概念之间会依据其上下文关系进行交互。这就意味着, 
如果将概念投射到一个向量空间中,概念向量之间由于本身存在的关联性导致它
们之间相互依赖,而这种关联性可以间接地通过事件的主题衔接起来。如图4-3 


第5章训练无关的语义概念增强方法71

所示,事件的语义空间可以定义为由一组概念作为基构成的线性空间。从图4-3 
可以看出,由于一些概念在描述同一个事件过程中存在高度关联性,本章提出通过
事件主题关联(Topic-related)方法推理概念之间的相关性。

为合理量化上面描述的概念间相关性,本章采用了第4章中事件主题相关的
用户实验的结果。在实验中参与者对他们认为与特定事件主题关联的概念进行建
议,最终依据所有参与者的输入统计得到概念的相关性。

所提出的计算方法基于这样一种假设,即如果更多的人认为一对概念同时与

一个给定的行为类型相关,那么就意味着这对概念之间有很强的相关性。通过遍

历所有的目标行为类别,并对这种相关性累计求和,这种综合后的相关性值可以得

到量化。为此,一对概念ci 
和cj 
的相关性值可以表示为

n(c(i),())

Σmivatcvactcj

Col(i,t∈
A 
((i),
i 
≠
j 
524)

reccj)
= Σ(c) (a) cci)
× 
Σtc(vatvact∈
A 
t∈
A 其中,A表示在用户实验中进行调(a) 查的所有行(a) 为(c) (i),())c(c) (i) i

类型的全集。vatc是概念c
在特定的行为类型act上获得的投票总数,min(cvacj

va反映了一对概念
在行为类型act同时获得投票的个数,即投票的重(c) 叠(t) 情况。(c) 由于这种重叠的投票(t) 结果反映了多个实验参与者对特定行为上下文中两个概念相关性强弱的评估,两

个概念的相关性在所有行为事件的重叠投票总数高时应该更强。Σvact(ci)和

act∈A

vat()表示两个概念ci 
和cj 
在所有行为类型中各自获得的投票总数,并用于

Σccj

t∈A

对(a) 相关性值进行归一化处理。(c) 

5.实验及结果讨论
4 

在实验中,对训练无关的索引增强算法在两种不同的数据集上进行了验证: 
数据集一(Dataset1)是由可穿戴式视觉传感器所收集的一系列静态图像;数据集
二(Dataset2)是TRECVid2006国际评测中使用的视频数据集。实验中采用了
AP(AveragePrecision)和MAP(MeanAveragePrecision)用于对比手工标注的真
实结果进行客观评估。

5.1 在数据集一上的评估结果
4.
在这个评估过程中,本章对提出的算法采用与本章文献[4]相同的数据集进行
评估。该数据集包含由4位真实用户用可穿戴式相机采集的12248幅图像,并采
用85个日常生活中出现的视觉概念对数据集进行标注。为测试在不同概念探测
精度下的算法表现,本章采用了本章文献[13]中的蒙特卡洛(MonteCarlo)方法对
概念探测器进行仿真。在仿真过程中,概念探测器的结果精度基于手工对概念是