第3章纹理表示
图像中往往包含着丰富的纹理信息,深入挖掘图像的纹理信息在图像处理中至关重要。
本章首先介绍图像纹理的概念及在图像处理中的作用;接着从图像纹理的特性入手,详细阐
述图像纹理的表示方法,为各种计算机视觉和图像处理任务奠定基础;最后详细描述经典的
Leung-Malik卷积核组的构建方法,使读者深入了解纹理基元的提取原理,在此基础上更好
地应用图像纹理特征。
3.图像纹理的概念
1
3.1
理解图像纹理
1.
当人类感知目标时,纹理是一种重要的外观提示。例如,根据纹理能够轻易区分金钱豹
和斑马,因为这两种动物身上的斑纹显著不同。纹理普遍存在、容易辨识,但却难以明确定
义。“纹理”一词最早见于《梦溪笔谈·异事》中:“ 予尝於寿春渔人处得一饼,言得於淮水
中,凡重七两馀,面有二十馀印,背有五指及掌痕,纹理分明。其(”) 中,“纹”指的是物体表面的
条纹、斑纹、花纹,“理”有纹路、层次、次序、规则、规律等含义。
由字面意思可知,纹理与观察物体时的尺度有关。从大的尺度观察物体时,纹理可以是
物体的一些组成单元,或者说细节。例如,一棵大树的树冠是纹理,它由许多树叶组成。因
此,由很小的物体组成的图像被认为是纹理。然而,当注意力集中在单独的一片树叶上时,
树叶上的脉络也是纹理,只是在大的观察尺度下,树叶上的纹理太小而不可见。因此,物体
表面上看起来由很多小物体组成的有规律的形状也是纹理。例如,老虎或斑马身上的条纹、
树皮或树叶上的脉络。从“理”的层面上看,纹理可以是一些有规则的模式,也可以是一些没
有规则的模式,或者随机模式。以上从纹理的两个属性———尺度与随机性———解释了图像
纹理的含义。
由此,构成大尺度物体或场景的众多小尺度物体形成的图像,可视为纹理,比如草地、树
叶、鹅卵石、头发等。另外,物体表面看起来由很多小物体组成的有规律的形状也是纹理,例
如猎豹身上的斑点、老虎或斑马身上的条纹、木材表面的纹理图案等,如图3-1所示。
在计算机图形学中,纹理不仅包括通常意义的物体表面的纹理,即物体表面呈现的凹凸
不平的沟纹,也包括物体光滑表面上的彩色图案。在图像中,纹理是指图像灰度或色彩在空
间上的变化或重复,是图像中物体表面的一种基本属性。不同种类的物体具有不同的纹理
特征,这些特征对于物体的分类和识别具有重要作用。一般来说,组成纹理的基本元素称为
纹理基元或纹元,而纹理则是这些元素或基元按照一定规则排列而形成的重复图案。
第
3
章纹理表示
图3-
1
一些图像纹理图案
根据从纹理图像内部能否分辨出纹理基元,可以将纹理图像分为以下3类。
①结构性纹理(structuraltexture): 结构性纹理的纹理基元具有规则的形状和排列顺
序,如规则排列的棋盘格、墙砖等,如图3-2所示。
图3-
2
结构性纹理图
②随机性纹理(stochastictexture): 随机性纹理没有明显的纹理基元和规则的结构分
布,如沙滩、草地等,如图3-3所示。
图3-
3
随机性纹理图
③混合性纹理,或称自然纹理(naturaltexture):混合性纹理在自然界中最普遍,它具
有人眼能够分辨的纹理基元,不同的纹理基元之间有一定的差异,且排列也不是很规则,如
图3-4所示。
图3-
4
混合性纹理图
35
可以从以下几方面分析纹理的视觉特性。
①尺度性:纹理的尺度性是指纹理因为观测距离不同而有所变化的特性。正如前面所
说,树叶是大树的纹理,树叶的脉络是树叶的纹理。
②粗糙度:纹理基元是具有局部灰度特征的相邻像素的集合,可以用其平均灰度、最大
最小灰度值、尺寸和形状等表示。纹理的粗糙度是按纹理基元的尺寸大小来划分的。
③规则性:所谓规则性,指的是纹理基元是否按某种规律有序地排列。纹理基元空间
排列可以有规则,也可以是随机的。
④区域性:纹理是一个区域特征,其定义必须包括空间邻域的灰度分布,领域的大小取
决于纹理的类型和纹理的基元大小,单个像素点的纹理没有任何意义。
1.图像纹理的作用
3.2
图像纹理是一种非常有用的图像特征。通过分析图像纹理,可以获得目标物体的材质
信息,例如,物体是由石头还是木头制成的。通过观察图像纹理是否发生变形,可以推断物
体的外观信息,例如,物体表面是平坦的、有棱角的还是弯曲的。此外,纹理的独特性质可以
识别或区分图像中的目标,例如,老虎身上的纹理与斑马身上的纹理是不同的。通过对纹理
的分析,可以更深入地理解和识别图像中的物体和场景。
在计算机视觉中,纹理信息处理是一个重要的研究方向,涉及纹理分割、纹理合成和纹
理恢复形状三个基本任务。首先纹理分割是根据相同纹理的一致性或不同纹理之间的差
异,将纹理图像划分为若干有意义的区域。其次,纹理合成任务是根据小型示例图像构建出
大型纹理区域,通常是通过构建示例图的概率模型,然后利用概率模型来生成纹理图像。最
后,纹理恢复形状的任务是基于图像纹理的结构信息来计算物体表面的方向和形状,从而实
现对物体结构的恢复。
除了学术研究,纹理分析在工业、医学、遥感以及多媒体等多个领域中有着重要的应用
价值。
在工业领域,纹理分析被广泛用于自动检测物体表面的缺陷,不但节省了人力资源,而
且缩短了检测时间,提高了检测效率。例如,以纹理分析技术为核心开发缺陷自动检测系
统,实现丝织品、绘画、木制家具等物品表面的瑕疵检测,进而评估产品的质量。
在医学领域,随着B超、X射线断层摄影技术等的不断推广应用,纹理分析具有广阔的
应用场景。病变的细胞在CT 图像中表现出与正常细胞不同的视觉特征。通过分析细胞核
和器官表面的纹理特征,能够有效地检测和识别患有病变的器官和细胞。例如,通过纹理分
析,对脑组织进行分类和分割,区分正常细胞组织和肿瘤组织;结合颜色信息和纹理信息来
检测血液样本中白细胞的异常变化等。
在遥感领域,纹理分析已发展成一种成熟的遥感图像处理技术。不同地、物表面呈现出
不同形态的纹理,例如,细腻结构的区域通常对应着草地、平原、湿地流域以及细小颗粒状的
沉积岩,而粗糙的纹理结构区域一般对应着火成岩等。因此,通过纹理分析,可以对遥感图
像进行分割和识别,从而有效地区分各种地形。
最后,在多媒体领域,对于基于内容的图像检索,纹理特征一直发挥着重要作用。通过
比较图像中不同纹理区域的相似度,可以有效地寻找与待检索图像在视觉上相近的图像。
36
第
3
章纹理表示
例如,使用Gabor变换作为纹理分析的工具,在基于内容的图像检索任务中取得了显著的成
果。这种方法在实际应用中表现出色,显著地推动了图像检索领域的发展。
3.图像纹理的表示
2
3.1
纹理的表示方法
2.
在图像处理中,用于描述区域纹理的方法主要有3种:统计方法、结构方法和频谱方法。
统计方法用于生成平滑、粗糙、粒状等纹理特征。通常,这些特征是通过对纹理图像的灰度共
生矩阵和差分矩阵进行统计分析得到的。这种方法简单且计算速度快,但提取的信息相对有
限。结构方法关注纹理基元的类型、数量以及基元之间的空间组织结构和排列规则。这种方
法适用于描述规则性较强的纹理,因此,其应用范围相对有限,通常只作为辅助分析的手段。
频谱方法是一种变换域的信号处理方法,它将原始图像从空间域转换到变换域,然后通过提取
变换域上的一些参数来描述纹理特征。常见的方法包括傅里叶变换和Gabor变换等。这种方
法可以捕捉到图像的频域信息,对于一些特定类型的纹理具有良好的描述能力。
本节重点介绍一种基于卷积核组的纹理表示方法。前两章介绍了不同的卷积核对图像
进行卷积操作会产生不同的效果,同一区域经过不同卷积核的卷积后会得到不同的响应。
例如,
x
方向的偏导卷积核,当图像的灰度值在
x
方向上变化较大时,卷积的结果数值也会
较大。基于这一思想,针对形态各异的纹理,可以采用多个不同的简单卷积核,如点、边、块
等模式,分别对图像进行卷积操作,获得图像对于这些简单卷积的响应结果。这些响应结果
包含了图像中纹理的结构和位置信息。随后,对这些响应结果数据进行统计分析,以获得更
精练的有关纹理的表示。在这个过程中,需要一个含有多个简单卷积核的集合,称为卷积核
组。通过卷积核组提取图像纹理的特征,整个过程包括以下3个步骤。
①构建一个合理的卷积核组。
②利用卷积核组对图像进行卷积操作,获得对应的特征响应图组。
③对特征响应图组进行统计分析,获得图像纹理的描述。
2.构建卷积核组
3.2
构建卷积核通常考虑3个关键因素:卷积核的类型、尺度和方向。卷积核的类型选择
体现了对图像中哪些基元结构感兴趣,也就是纹理的模式属性;卷积核的尺度体现关注的基
元结构在图像中的大小,也就是纹理的尺度属性;卷积核的方向反映了所关注的基元结构在
图像中的角度。
构建卷积核组时,通常使用3种基本类型的卷积核(边缘、条纹和点状)。这3种最简单
的卷积核基本可以覆盖绝大多数纹理的形态。对于卷积核的角度,研究表明,超过6个角度
后,对性能的提升影响不大,因此通常为卷积核选择6个角度。至于卷积核的尺度,一般建
议选择范围为3~6个像素。
图3-5给出了一个卷积核组,包含7个不同的卷积核,用于描述7种不同的局部结构。
这些卷积核具有相同的尺寸,中等灰度值表示卷积核的权重为0,浅灰色表示正的权重,深灰
色表示负的权重。前6个卷积核用于描述边缘信息,它们的差异体现在边缘的方向上,分别
37
对6个特定方向的边缘结构有显著的响应。以第1个卷积核为例,它是一个高斯一阶导数
卷积核,用于捕捉图像中垂直方向的信号变化。如果图像中存在水平方向的纹理,那么利用
该卷积核在图像中的水平纹理区域进行卷积操作时将产生较大的响应值。最后一个卷积核
是基于高斯卷积核构建的,用于描述斑点信息。在图像中的斑点区域,其响应值将较高。
图3-
5
包含7个卷积核的卷积核组
卷积核组中的每个卷积核都刻画了一种类型的纹理基元,对图像进行卷积操作后,将产
生对应的特征响应图。该图反映了当前卷积核所描述的纹理基元在图像中的位置和强度。
使用包含7个卷积核的卷积核组,可以获得7个相应的特征响应图。
3.3
纹理统计分析
2.
利用卷积核组对图像卷积后获得的特征响应图仅表示了图像中的纹理基元,纹理表示
还需要考虑纹理基元的组成模式。一种最简单的方法是将每个卷积核生成的响应图展开为
向量,然后将所有这些向量连接在一起,形成最终的纹理表示。在这个纹理表示的向量中,
每个维度的数值反映了图像中某个位置是否存在某种纹理基元。
然而,对于许多计算机视觉处理任务,比如图像分类,基元出现的确切位置并不重要。
重要的是图像是否包含某个纹理基元以及这个基元在图像中的频率。因此,可以利用特征
响应图的某种统计信息来表示纹理基元的组成模式,例如,可以用每个响应图的均值代替整
个响应图。均值能够在整体上反映图像是否包含这个基元结构以及其在图像中出现的频率
高低。将所有响应图的均值连接起来形成一个向量,向量的维度等于卷积核组中卷积核的
数量。这样就可以将多个卷积核对应的响应图表示为一个特征向量。
下面以3.2.2节中的卷积核组为例解释纹理表示的计算过程。首先,使用图3-5中的7
个卷积核构建一个卷积核组。然后,利用这些卷积核对图3-6中第一列的3幅纹理图像进
行卷积。每幅图像获得7个特征响应图。接着,计算每个响应图的均值,这样对应每幅图像
得到7个均值,如图3-6第二、第三、第四行所示,其中,每个小方块的明暗程度表示均值的
大小。小方块的颜色越亮,响应图的均值越大,反之则越小。最后,将每幅图像对应的7个
均值连接在一起,形成了一个描述图像纹理信息的特征向量。
通过纹理表示可以分析图像的纹理特征。如图3-6所示,在第1幅图像的7个平均响
应值中,最高响应平均值来自于第4个卷积核。这说明图像中应该存在垂直边缘,且出现的
频率高。对于第2幅图像,响应平均值最高的是第5个卷积核。这说明图像中包含大量45°
方向的边缘。至于第3幅图像,响应平均值最高的是第7个卷积核,这说明图像中存在大量
斑点区域。这些分析结果与原始图像的纹理情况高度相符,这种纹理表示方法能够有效地
区分这三种不同的纹理信息。
在纹理表示的基础上,可以实现更高级的计算机视觉任务。以最简单的图像分类为例,对
含有
A
类目标的
L
张图像,得到对应的纹理表示向量,记为a1,aL
,对含有
B
类目标的
L
张图像,得到对应的纹理表示向量, b2,…,
a2,…,
aj
‖2、‖b
记为b1,bL
。计算距离‖ai
-i-bj
‖2
38
第
3
章纹理表示
和‖ai-bj‖2。根据距离可以区分图像是否包含同一类目标,从而实现图像分类。
图3-
6
利用7个卷积核对3幅纹理图像(第1列)进行卷积,
并以亮度表示每个响应图的平均值(第2~8列)
3.3
Leung-Malik卷积核组
卷积核组的构建是图像纹理表示的核心工作,决定着纹理特征的提取效果。本节将介
绍一种更全面、更通用的卷积核组———Leung-Malik卷积核组[4-5],并详细探讨其构建方法。
3.1
LugMaik卷积核组的组成
3.
en-l
Leung-Malik卷积核组(或称滤波器组)如图3-7所示,由48 个卷积核构成,能够提取3
种类型的结构:边缘(edge)、条状(bar)和点状(spot)结构。边缘和条状结构的检测考虑了6
个方向和3个尺度,共计36 个卷积核,其余12 个卷积核用于检测点状结构。
图3-
7
Leung-Malik卷积核组[5]
输入一幅图像时,可以获得48 个特征响应图。然后,计算每个特征响应图的均值,可以
得到一个48 维的向量表达图像的纹理特征。这个纹理特征向量可用于处理图像分类、识
别、聚类等问题。
39
3.3.2 Leung-Malik卷积核组的构建
下面详细阐述Leung-Malik卷积核组的构建方法。由于该卷积核组中的所有卷积核都
与高斯函数相关,因此,先从高斯函数出发进行分析。前面已经给出高斯函数的表达式,即
g(x,y)= 1
2πσ2e-(x2+y2)
2σ2 (3-1)
进一步,式(3-1)可分解为
g(x,y)= 1
2πσe-x2
2σ2 × 1
2πσe-y2
2σ2 (3-2)
式(3-2)表明,式(3-1)给出的二维高斯函数可以分解为两个一维高斯函数相乘的形式。
如果认为x 与y 是两个符合高斯分布的随机变量,那么式(3-1)给出的是这两个独立同分布
的随机变量的联合概率密度。进一步,用x1 与x2 表达这两个随机变量,再假设它们的方差
是不同的,式(3-2)可以变形为
g(x1,x2)= 1
2πσ1e-
x21
2σ21
× 1
2πσ2e-
x22
2σ22
(3-3)
如果有d 个独立的满足高斯分布的随机变量,每个分布的均值和方差都是不同的,用
μi 与σ2i
表示(i=1,2,…,d),则式(3-3)可以扩展为
g(x1,x2,…,xd )=Πd
i=1
1
2πσie-(xi-μi)2
2σ2i
(3-4)
设x=(x1,x2,…,xd )T,μx =(μ1,μ2,…,μd )T,则式(3-4)可以转化为矩阵的表述形式
g(x)= 1
(2π)d det(ΣX )e-12
(x-μx )TΣ-X1(x-μx ) (3-5)
其中,对角阵ΣX =diag(σ21
,σ22
,…,σ2d ),det(·)表示求行列式运算。由于假设了x 的每一个
分量是独立的,并根据方差的定义,可得
E{(xi -μi)(xj -μj)}=
σ2i ,i=j
0, i ≠j { (3-6)
其中,E{·}表示求期望运算。利用上面的结果,可以得到:
ΣX =E{(x -μx )(x -μx )T} (3-7)
式(3-5)给出的高斯函数实际上描述了坐标轴的方向(在d 维空间中的方向)与(x-
μx )TΣX-1(x-μx )描述的d 维椭圆的轴向一致的情况。前者是d 维空间中一组相互正交的
单位向量,后者是另一组互正交的单位向量,如果二者的方向不完全一致,那么必然存在一
个单位正交阵U,可实现二者的方向变换。由于单位正交阵U 的列向量相互正交,因此满足
UT=U-1。这样,假设x 向量是由y 向量通过单位正交阵U 变换得来,即
x -μx =UT(y -μy ) (3-8)
变换后满足坐标轴与椭圆轴重合的情况,如果表达二者不重合的情况,可将式(3-8)代入式(3-5)
中,得到
g(y)= 1
(2π)d det(ΣX )e-12
(y-μy )TUΣX-1UT(y-μy ) (3-9)
40
第3 章 纹理表示
现在的问题是如何用y 表示式(3-9)中的参数ΣX 。联合式(3-7)和式(3-8),可得
ΣX =E{UT(y -μy )(UT(y -μy ))T}=UTE{(y -μy )(y -μy )T}U =UTΣYU
(3-10)
进一步,可推出
ΣY =UTΣXU (3-11)
ΣY-1 =(UTΣXU)-1 =UTΣX-1U (3-12)
det(ΣX )=det(UΣYUT)=det(UUT)det(ΣY )=det(ΣY ) (3-13)
根据式(3-12)和式(3-13),式(3-9)可转化为
g(y)= 1
(2π)d det(ΣY )e-12
(y-μy )TΣY-1(y-μy ) (3-14)
这便是d 维空间的高斯函数,本节后续内容中将会用到。
由于需要生成卷积核用于图像处理,而图像是二维的,因此仍然考虑d=2的情况。此
时,考虑高斯函数的中心点取(0,0)T,式(3-9)转化为
g(y)= 1
2πσ1σ2e-12
(Σ~-1 X UTy)T(Σ~X-1UTy) (3-15)
其中,Σ ~
X =diag(σ1,σ2)。
式(3-15)表明,如果y 向量表达坐标,UT 实现了对坐标的旋转变换,目的是改变椭圆的
轴向,Σ ~
X-1 实现了尺度变换。由此,将矩阵U 设计为旋转矩阵,即
U = cosθ -sinθ
sinθ cosθ
é
. êê
ù
. úú
(3-16)
其中,θ 为旋转角度。
回顾前面介绍的边缘提取技术,为了检测边缘,需要设计高斯一阶偏导核。为此,对
式(3-3)中的g(x1,x2)求一阶偏导数,可得
dg(x1,x2)
dx1
=g(x1,x2)-
x1
σ21
.
è .
.
. ÷
(3-17)
dg(x1,x2)
dx2
=g(x1,x2)-
x2
σ22
.
è .
.
. ÷
(3-18)
Leung-Malik卷积核组中提取边缘的18个卷积核利用了式(3-17)和式(3-18),选择3种尺
度和6个方向,其中,表达尺度的σ1 取值分别是2、2和2 2,σ2 是σ1 的3倍。方向角θ 选
择0~π的6个角度构成旋转矩阵U,利用U 将坐标(y1,y2)变换为(x1,x2)。然后将变换后
的坐标代入式(3-17)和式(3-18)进行卷积核系数的计算,坐标(y1,y2)是卷积核系数所在的
位置。这样,只要代入坐标(y1,y2)的值,即可得对应点的高斯一阶偏导核系数。
Leung-Malik卷积核组利用高斯二阶偏导核提取bar结构。将式(3-18)的右侧表达式
对x2 求导,可得
d2g(x1,x2)
dx22
=g(x1,x2)x22
-σ22
σ42
.
è .
.
. ÷
(3-19)
采用类似边缘检测的卷积核参数设置方案,通过式(3-19)可得用于提取bar结构的18个卷积核。
Leung-Malik卷积核组利用4个高斯卷积核和8个高斯拉普拉斯(LaplacianofGaussian,
41
LoG)卷积核提取点状结构。高斯卷积核系数利用式(3-2)得到,其中,尺度σ1 分别取2、2、22
和4,并设σ1=σ2。
LoG卷积核是高斯平滑核与拉普拉斯算子的合成。拉普拉斯算子是一种优秀的边缘提
取算子,它计算图像f(x1,x2)的二阶偏导数,并求和,可以表示为
Δ2f =.2f(x1,x2)
.x21
+.2f(x1,x2)
.x22
(3-20)
考虑噪声的影响,为了检测边缘,需要对图像先进行高斯平滑。回顾第2章,这一过程
等价于先对高斯平滑核应用拉普拉斯算子,再对图像卷积。为此,将式(3-17)中的高斯一阶
偏导核再对x1 求导,可得
d2g(x1,x2)
dx21
=g(x1,x2)x21
-σ21
σ41
.
è .
.
. ÷
(3-21)
按式(3-20),计算式(3-19)和式(3-21)之和,并设σ1=σ2=σ,得到LoG核函数,即
Δ2g =g(x1,x2)x21
+x22
-2σ2
σ4 (3-22)
利用式(3-22),给定尺度σ 时,代入坐标(x1,x2)即可得到对应位置的卷积核系数。
Leung-Malik卷积核组为LoG核函数选择8个不同的尺度,前4个尺度值分别为2、2、2 2
和4,后4个尺度是前4个尺度值的2倍。
小 结
本章探讨了纹理的概念、各类纹理类型以及它们的特征。之后详细阐述了基于卷积核
组的纹理提取和表示方法,描述了图像纹理表示的实现过程。最后介绍了经典的Leung-
Malik卷积核组的构成,并详细推导了其组建原理。
习 题
(1)定义一个3×3的滤波器,使其能够在45°时检测亮度值,并在图像亮度从右下到左
上方增加时给出正响应。
(2)定义一个3×3的滤波器,使其能够对垂直方向上的二阶导数做出响应,但对垂直
方向上的梯度和绝对亮度保持不变,同时对水平方向上的所有变化保持不变。
(3)程序设计:获取Leung-Malik卷积核组的一个实现,在此基础上实现基于Leung-
Malik卷积核组的图像纹理表达。
(4)程序设计:获得3个以上类别的图像,例如树、楼和肖像,每个类别的图像不少于10
幅,构建图像数据集。在习题(3)设计的程序基础上实现图像分类,并在构建的数据集上进
行测试。
(5)根据习题(4)的测试结果,说明哪种纹理的可区分性更好及其原因。
42