第5章　彩色比率的光度不变性
包含Cordelia Schmid的贡献*
　　
　　
　　在第4章中，在假设白色照明的情况下，已证明了若干个彩色通道对于光度变化是不变的。但是，在现实世界的图像中，光源可能具有不同的光谱功率分布。尽管对于室外图像，通常假定的光源是D65（大约为白色），但室外光源的实际变化要大得多。此外，对于室内图像，光源的彩色甚至可以呈现出更大的变化。客观世界中物体反射的观察光是光源的光谱功率分布与物体反射率的乘积。旨在描述相对于光源变化不变的场景反射率的方法可以分为两组。第一组方法显式地计算光源，然后校正输入图像。这些方法将在本书的第3部分（彩色恒常性）中详细讨论。本章将详细讨论的第二组方法并不是要首先明确估计光源以校正图像，而是将所谓的色比（色彩比率/彩色比率）与测量结果组合成相对于光源的彩色不变的无量纲数。
　　Land和McCann [13]着迷于人类观察与光源无关的物体反射率的能力，进行了一系列巧妙的实验，旨在揭示潜在的机理。他们向观察者展示了带有彩色片的平面场景，这些彩色片被称为蒙德里安，以荷兰画家的画作为参考（图5.1）。对于这些图像，观察者正确地将彩色片的反射率报告为红色、绿色、黄色等，而与照亮场景的光源无关。在他们对人类如何设法忽略光源彩色不良影响的分析中，他们观察到根据图像中相邻点的比率能相对于照明而不变地检测边缘。该理论（称为视网膜皮层理论）的主要基础假设是场景中两个相邻点的光源相同。另外，反射率的变化被认为是突变的。在Land和McCann的初步研究之后，


图5.1　心理物理研究中常用的平面场景示例。同一场景由两个不同的光源照亮。Land和McCann [13]发现，人类能够在这种场景中描述彩色片的反射彩色，而与光源的彩色无关。图像取自参考文献[44]
Nayar和Bolle[45]进一步发展了彩色比率理论。他们指出，在局部光滑表面的假设下，反射率比率也适用于3-D世界中的曲面。换句话说，假设光源变化在空间上是低频率的，而反射率变化则是高频率的。注意，只要色度和强度的变化频率很低，此假设就允许使用多种光源。这种局部恒定照明的假设是基于本章介绍的所有彩色比率的。
　　彩色比率的重要应用领域是图像检索的彩色索引领域。为了成功地索引对象，图像表达应该对场景偶然事件具有鲁棒性，例如视点、阴影、影调和光源彩色的变化，这正是彩色比率的优势。彩色索引是由Ballard和Swain首次提出的[43]，并应用于目标识别。他们的方法通过使用RGB彩色直方图识别目标。Funt和Finlayson [46]指出，这种方法在光源彩色变化方面缺乏鲁棒性。他们表明，使用彩色比率可以确保光源变化的稳定性。此外，他们还展示了如何基于图像导数计算彩色比率。但是，这些描述符仍然取决于照明几何。因此，由于物体朝向或摄像机视点引起的突然变化会改变对目标的描述。Gevers和Smeulders提出了解决这个问题的方法[47]。他们引入了一个不变量，该不变量对于光源彩色和照明几何的变化都具有鲁棒性。最后，Van de Weijer和Schmid观察到，基于图像导数的彩色比率取决于边缘的光滑度[48-49]。为了克服这个问题，他们提出了一组对模糊具有鲁棒性的彩色比率。
　　在本章中，我们介绍各种彩色比率。我们将展示它们可以作为（不同空间位置）像素的比率或作为图像导数来计算。实际上，它们同样可以很好地归类为光源不变图像导数。由于在第4章的基于像素的不变量和第6章讨论的光度不变量导数之间具有双重作用，我们现在介绍彩色比率。
5.1　光源不变彩色比率
　　为了得出彩色比率，我们从第3章介绍的反射率模型开始。在朗伯反射的假设下，    式(3.3)可以写为
		(5.1)
回想一下，对于3个通道，c ? {R, G, B}，mb(x)包含由于光源强度变化、物体几何和照明几何而引起的变化；e是光源，s(?, x)表示物体反射率。此外，假设窄带传感器的灵敏度可使用德尔塔函数?c(?) = ?(? ? ?c)来近似其光谱响应，则式(5.1)可以简化为
		(5.2)
其中，ec(x)代表e(?c, x)，sc(x)代表s(?c, x)。窄带传感器意味着仅通过特定波长的光。如果彩色相机具有了窄带传感器，则可以使用相机提供的测量值。对于大多数窄带彩色传感器来说，已发现这种近似值是可以接受的[50]。
　　式(5.2)是所有彩色比率的基础。该式表明，测量值是场景与光源几何，光源彩色和目标彩色的乘积。Land和McCann[13]观察到，在大多数现实世界场景中，光源是局部恒定的，这意味着对于两个相邻点x1和x2，以下条件成立：ec(x1) = ec(x2)。基于此观察，Funt和Finlayson [46]（借助与Nayar和Bolle [45]相似的推导）建议使用彩色比率来进行目标识别：
		(5.3)
　　实际上，对于c ? {R, G, B}，彩色比率是根据两个相邻图像位置x1和x2的彩色计算得出的，并由下式给出：
		(5.4)
		(5.5)
		(5.6)
　　将式(5.2)代入式(5.3)，可以得到
		(5.7)
　　在局部恒定照明ec(x1) = ec(x2)的假设下，可以排除光源e的影响。请注意，此假设仍然允许整个场景中的照明变化。例如，使用多个光源，但仅要求光源不显示突然的局部变化。此外，在假设相邻点具有相同的表面朝向（mb(x1) = mb(x2)）的情况下，例如局部光滑的表面，体反射率一项被排除在外，仅留下两个相邻点的表面反射率：
		(5.8)
　　因此，在光滑连续表面的假设下，计算两个相邻点之间的比率会得到彩色不变量，该彩色不变量对物体形状、照明方向、强度和彩色都不敏感。
　　从式(5.3)可以看出，F是无界的。如果第二个位置的彩色信号较小，则F可以取到巨大的值：fcx2 → 0 ? F →∞。为了将F转换为性能良好的函数，Nayar和Bolle [45]提出了一个稍有不同的比率（也称为迈克尔逊对比度）：
		(5.9)
　　在这种情况下，如果两个相邻点不都是黑色，则有?1 ≤ N ≤1。
　　彩色比率F的基本假设是相邻点具有相同的表面法线（即mb(x1) = mb(x2)）。此限制除去了许多几何形状突然变化的现实世界目标，例如具有mb(x1) ? mb(x2)的立方体的两个相邻面之间的过渡。为了克服这个问题，Gevers和Smeulders [47]提出了一种彩色比率，该彩色比率不仅不随光源的彩色变化，而且还降低了对目标几何的依赖：
		(5.10)
其中，fc1和fc2是两个不同的彩色通道。对于?RGB?图像，可以得到以下?3?个不同的彩色      通道：
		(5.11)
		(5.12)
		(5.13)
　　注意，根据M3 = M2/M1，第三个通道依赖于前两个通道。可以看出，这些比率对于光源的彩色（在局部均匀照明的假设下），光源的强度、视点和表面几何形状是不变的：
		(5.14)
                                   	(5.15)
其中假设局部照明恒定，即eci(x1) = eci(x2)。
5.2　光源不变边缘检测
　　在5.1节中，通过获取图像中空间变化点的比率来计算彩色比率。在本节中，我们来说明彩色比率也可以写为图像导数，这是Funt和Finlayson首次提出的观点[46]。他们指出，如果彩色比率F不随光源而变化，则ln(F)不变。重写ln(F)表明，计算彩色比率F等于获得通道对数的导数：
		(5.16)
　　因此，在表面法线局部恒定的假设下，图像对数的导数对于光源的变化是不变的。利用的事实，还可以通过以下公式计算这三个比率：
		(5.17)
其中，下标x表示空间导数。
　　Gevers和Smeulders提出的彩色比率也有类似的推导[47]。从彩色比率M的对数开始，可以将其重写为
		(5.18)
　　因此，两个不同通道的商的对数导数与光源彩色无关。可以根据以下公式计算两种彩色比率：
		(5.19)
　　在图5.2中，提供了光度不变彩色比率的图示。




图5.2　光源不变边缘检测：(a)左侧显示了两个彩色过渡，其中下部图像的蓝色部分叠加了从左到右下降的强度。这可以模拟由于场景几何形状改变而常见的变化；右侧的两个彩色过渡由局部平滑变化的光源照明。(b)这两个图分别描绘了沿两个区域分界线在图(a)的右侧图像中计算出的边缘响应，给出了正常图像导数f1以及彩色比率F1和M1的响应。对于上部图像，两个彩色比率都保持相当稳定，而正常图像导数响应f1由于光源的变化而明显变化。根据理论预测，当场景几何形状也改变时，如下部一行所示，F1的响应会发生变化，而只有M1在几何和光源变化的组合下均保持稳定
5.3　模糊鲁棒和彩色恒常图像描述
　　除了前面讨论的光度变化之外，模糊改变是另一个经常遇到的现象。除其他因素外，它们可能是由于焦距过大、相机与物体之间的相对运动以及光学系统中的像差所致[51]。对于零阶描述（例如归一化RGB），模糊变化的影响很小。但是，模糊的变化将大大改变基于边缘的描述。基于边缘的彩色方法可测量两个相互交织的现象：两个区域之间的彩色变化以及区域之间过渡的边缘清晰度。模糊的变化对彩色的变化影响很小，但是会影响过渡的边缘清晰度。因此，基于导数的表达具有不希望的效果，即它们在图像模糊下会发生变化。现在我们讨论模糊对前面讨论的彩色恒常比率的影响。我们进一步讨论一种降低彩色比率对图像模糊敏感度的方法。
　　让我们假设先前讨论的光源不变导数是通过使用尺度为?d的高斯导数进行推导来计算的。结果就是比率具有一定的尺度，例如F1?d = Rx?d/R?d。我们通过使用具有?b的高斯核进行卷积来对模糊建模。然后，模糊将具有与在不同尺度上计算比率的相似效果，因为
		(5.20)
因此，相对于模糊的鲁棒性就等于改变比率尺度的鲁棒性。
　　接下来，分析尺度对比率的影响。假设可以通过阶跃边缘R(x) = ?u(x) + ?来建模边缘。那么，
		(5.21)
在这里我们使用了一个事实，即阶跃边缘u(x)的导数是德尔塔函数?(x)。现在让我们考虑正好在边缘x = 0处的比率响应。这里的分母保持恒定，并且
		(5.22)
　　显然，这种响应与尺度无关，这证明了彩色比率会随着模糊而变化。
　　为了获得针对模糊的鲁棒性，Van de Weijer和Schmid [48]提出了以下色角?F = {?F1, ?F2}：
		(5.23)
　　通过彩色比率的除法排除了对模糊的依赖。考虑要通过G(x) = ?u(x) + ?建模绿色通道的边缘，则
		(5.24)
它独立于尺度?，因此对模糊变化具有鲁棒性。此外，由于F1和F2都是不变量，因此?F1是光源彩色变化的不变量。注意，为获得不变性并不需要使用arctan( )。但是，arctan( )将输出映射到[?π, π]的范围，这可以更好地在直方图中表示。
　　对于彩色常数和照明几何不变比率M1和M2，可以得出类似的对模糊的依赖关系。为了获得鲁棒性，可以计算以下色角：
		(5.25)
　　当使用式(5.23)和式(5.25)中提出的色角时，应考虑可靠性[41]。将误差分析应用于任何色角均会产生以下结果：
		(5.26)
这里我们假设?a = ?b = ?ε。这个方程告诉我们，小的色角可靠性较差。
5.4　应用：基于彩色比率的图像检索
　　为了说明如何使用彩色比率，我们将其应用于图像检索任务。该任务旨在测试与光源彩色变化有关的图像描述。检索的性能由正确匹配的排名结果评估，其中排名指示在检索了多少图像后得到了正确图像。我们还将分析为单个查询定义的归一化平均序（NAR），如下所示：
		(5.27)
其中，N是数据库中图像的数量，NR是查询中相关图像的数量，Ri是检索出来的第i幅相关图像的排名。NAR为零表示完美结果，而NAR = 0.5相当于随机检索。我们将给出由ANAR表示的所有查询的平均NAR结果。
　　构造彩色比率和色角的直方图以表示图像。我们在每个彩色维度中使用了16个直方条（F有3个维度，?F和M对应两个维度，?M对应一个维度）。为了增强色角直方图的构造，我们使用式(5.26)。例如，对于?M，我们用更新直方图。检索基于直方图之间的欧氏距离，并且使用具有标准偏差? = 2的高斯导数滤波器来计算导数。前两个实验是在一组20个彩色目标上进行的，所有这些目标都是在10种不同光源下拍摄的，具有不同的目标朝向[44]，其示例在图5.3中给出。


图5.3　来自Simon Fraser数据集（637 ? 468像素）的目标图像示例。(a)～(d)两个目标的图像及其平滑版本，用于测试关于高斯模糊的鲁棒性；(e)～(h)单个目标在4个不同光源和不同目标朝向下的4个实例化。这些用于测试有关光源彩色和光源几何形状变化的图像描述
5.4.1　光源彩色的鲁棒性
　　首先，我们测试关于光源彩色变化的鲁棒性的图像描述。对于20个目标中的每一个，我们选择一幅有单个目标的图像作为查询。对于每个查询，在不同光源和不同目标朝向下，存在10个相同目标的相关图像。结果总结在表5.1(a)中。这些图像都是在相似的距离上拍摄的，因此在大多数图像中，边缘同样清晰。因此，不需要关于模糊的鲁棒性，并且两个彩色比率F和M均获得良好的结果。针对色角模糊而增加的鲁棒性给出较低的判别力；但是，对于?F，性能下降是最小的。对于?M的16个直方条表明，由于判别能力的损失而导致的性能下降较大。
5.4.2　高斯模糊的鲁棒性
　　接下来，我们测试关于模糊变化的图像描述。为此，我们在同一个光源下拍摄所有20幅有单个目标的图像。接下来，将标准偏差为??= 2的高斯平滑应用于图像，这只会导致图像出现轻微的视觉变化（图5.3）。我们使用非平滑图像作为查询，以在20幅平滑图像集中

表5.1　检索实验的排名和ANAR
　　(a) 对光源的鲁棒性
排名
1~10
11~20
> 20
ANAR
排名
1~10
11~20
> 20
ANAR
F
180
5
15
0.010
M
155
22
23
0.024
?F
169
17
14
0.012
?M
115
23
65
0.049
            (b) 对高斯模糊的鲁棒性                                 (c) 对真实世界效果的鲁棒性           
排名
1
2
> 2
ANAR

排名
1
2
> 2
ANAR
F
5
0
15
0.218

F
7
2
11
0.365
?F
19
1
0
0.003

?F
16
3
1
0.018
M
1
3
16
0.258

M
6
2
12
0.303
?M
15
3
2
0.023

?M
13
1
6
0.053

找到其平滑副本。表5.1(b)给出了该实验的检索结果。模糊下彩色比率F和M的敏感性是显而易见的，仅针对少数查询，发现相关图像的排名为?1。两个针对模糊而设计得很稳健的色角获得了良好的结果。对于?F，仅有单幅图像得到的相关图像没有排在检索出的第一幅。总之，色角在图像模糊时提供了可靠的图像描述。
5.4.3　真实世界模糊效果的鲁棒性
　　在一组20对图像上执行该实验。虽然每对都包含同一场景的两幅图像，但是图像模糊程度是不同的。模糊是由于更改了诸如快门时间和光圈之类的采集参数以及由于相机和物体之间的相对运动而引起的（见图5.4）。表5.1(c)提供了结果。模糊的变化会导致彩色比率F和M表现不佳。尽管并非所有现实世界的模糊效果都可以用高斯建模[51]，但所提出的模糊?稳健色角可以获得良好的结果：对于?F，仅有单幅图像没有出现在前两幅检索出的图像中。


图5.4　示例数据库：(a)离焦模糊；(b)从前景到背景的焦点变化；(c)运动模糊


　　
5.5　本 章 小 结
　　正如在前面的章节中看到的那样，假设白色照明对于实际应用而言可能是一个过于严格的假设。场景中的光源可以着色并在整个场景空间上变化的假设更为现实。在本章中，我们讨论了这种不随光源变化的彩色比率。基本的结论是，光源在局部是恒定的，因此在边缘的两边都是相等的。在边缘两边分开进行观察将排除光源彩色的影响。
　　本章还讨论了基本原理的几个扩展。已经展示了如何获得关于几何形状和模糊变化的不变性。此外，推导了如何计算彩色比率作为图像导数。最后，展示了几个实验，以说明彩色比率的描述能力。
　　
　　*  经许可，部分内容转载自：Blur robust and color constant image description, by J. van de Weijer and C. Schmid, in Int. Conference on Image Processing, Atlanta, ?2006 IEEE.
---------------

------------------------------------------------------------

---------------

------------------------------------------------------------

58
彩色计算机视觉：基础与应用

51
第5章  彩色比率的光度不变性