第3章〓CMOS图像传感器
自扫描光电二极管阵列（SSPD）是CMOS图像传感器的基础，其光电结构及原理已经在第2章做了详细分析。本章重点介绍CMOS图像传感器的器件层面的相关知识，包括像素结构、彩色滤光片、外围电路等。

CMOS图像传感器的像素结构一般包括光敏结构、读出电路结构、微透镜，对于获取彩色图像的传感器，还包含彩色滤光片。外围电路包括信号的读出、放大等，读出电路根据像素结构而设计，具有读出、矫正、放大的作用。传感器的像素结构、外围电路等每个器件相互配合，提高了像素单元的光电响应特性，使得CMOS图像传感器的性能尤其是低照度条件下的响应特性得以提高，从而使得传感器的应用面大幅度扩展，进入实用化阶段。

3．1像素结构

CMOS图像传感器结构大致可以分为三层，即光学层、传输层、感光层，如图31(a)所示，光信号首先经过光学层，透过微透镜、彩色滤光片，途经电路层之后，照射到感光层。光学层包含彩色滤光片和微透镜阵列，对于采用分层感应滤光技术的传感器，不包含独立的彩色滤光片。传输层最为复杂，包含像素电路、行列选通、读出电路等，电路形式多种多样、各具优缺点。感光层主要是光电二极管阵列，一整片的硅衬底上扩散了阵列排布的n新层，构成相互独立的像素感光单元。CMOS图像传感器的结构大致如此，一些新型结构有所不同，例如光学层后置、分层感应滤光层等，但传感器的整体结构与图31(a)没有太大的区别。



图31CMOS图像传感器阵列结构



图31(续)


CMOS图像传感器的电路结构有多种形式，但其基本结构一般都包含四个主要模块： 像素阵列、模拟信号处理器、行列选择电路、时钟与控制电路。若干像素按照一定的规律布置，构成图像传感器阵列，如图31(b)所示。像素阵列由行选通器和列选通器控制，在时序信号的驱动下，分别读取每个像素的信号，由外围的放大器加以放大。

从像素电路结构的角度看，CMOS图像传感器可以分为两大类： 被动式像素传感器(Passive Pixel Sensor，PPS)和主动式像素传感器(Active Pixel Sensor，APS)，主动像素电路是目前主流的像素电路结构。

3．1．1被动式像素传感器

被动式像素传感器又称为“无源像素传感器”，像素电路内部没有放大电路，只有光电二极管和开关管，如图32的虚线框部分。这一电路结构与SSPD是一样的，参见图221、图222。



图32PPS像素电路结构

当像素由行选择线(简称“行线”)时，像素经由列选择线行、列选择线： 行选择线又称“行选通”（Select Row）； 列选择线又称“数据线”(Bit Line)或“列选通”(Select Col)。(简称“列线”)被复位，光电二极管的输出电压被置0，随后，光电二极管开始对入射光信号积分(即曝光)。开关的作用是将光电二极管与读出电路相连接，用以读出光电二极管的电流信号。信号传输到列线上，由数据总线传输至公共放大器，信号经放大后输出。

1． 像素电路分析

如图33(a)所示，在p型硅衬底上扩散n阱n阱： nwell，又译作“n型阱区”“n型阱”。构成光电二极管，与FET开关管的n+区相接，在之间的开关管栅极(行选通线)的作用下，信号由列线输出。因为光电流太微弱无法精确测量，需要对其做一定时间的积分。波长为λ的光子在积分周期T内，所积累的电子数量为
Q=q·FF·T·Ahcλη0(λ)P(λ)(31)
式中，FF为像素的填充因子(“填充因子”的概念，参见3.3节“特性参数”)，A为像素面积，η0(λ)为光电二极管的光电效率，P(λ)为单位面积光功率。



图33被动式像素中光电二极管结构


PPS的等效电路如图33(b)所示，当行线接通之后，像素电容Cp上的电荷将传输到输出电路的中线路寄生电容Cl、放大器的反馈电容Cf之上，此时，输出电路上的电荷总量为
Qo=Cl+CfCl+Cf+CpQ(32)
但行线断开，像素与输出电路隔离，放大器的电压输出为
Vo=QCfCl+CfCl+Cf+Cpββ+1(33)
式中，β为放大器的直流开环增益。可见，输出电压与像素的电荷量呈线性关系。

2． 像素电容

像素电容Cp与光电二极管的结电容Cj、侧壁电容Cs、行选通开关管的栅漏电容Cgd有关，且
Cp=ACj+PCs+Cgd
=Aqε2(φbi-VD)NA+NDNAND+P∫xj0qε2(φbi-VD)NA(x)+ND(x)NA(x)ND(x)dx+WCgd0(34)
式中，A、P、W分别为光电二极管的面积和周长，W为行选通开关管的栅极宽度，Cgd0为单位长度栅漏电容，ε为硅材料的介电常数。对于大尺寸像素，像素电容主要由结电容决定； 对于小尺寸像素，像素电容由侧壁电容和栅漏电容决定。φbi、VD(x)分别为光电二极管PN结的内建电势和反偏置电压，NA、ND分别为本征电子浓度和掺杂电子浓度，NA(x)、ND(x)分别为光电二极管底部侧壁方向的本征电子浓度和掺杂电子浓度，是与结的深度方向的位置有关的函数，因此，栅漏电容Cgd可以沿着结的侧壁的深度方向积分计算得到，侧壁深度为xj。

由图33(a)可知，列线与行选通管的漏极相连，这里包括栅极漏极电容Cgd、漏极衬底电容Cdb、金属衬底电容Cmet，线路的寄生电容Cl与它们有关： 
Cl=m (Cgd+Cdb+Cmet)(35)
式中，m是像素阵列的行数，寄生电容Cl主要由括号中的前两项决定。
Cgd=Cgd0W
Cdb=Cj Asd+CjswPsd
Cmet=CmpWcol+2Cmswp(36)
式中，Cj为结电容，Asd为行选通管漏源面积，Cjsw为n区与衬底之间的侧壁电容，Psd为行选通晶体管漏源周长，Cm为金属线衬底单位电容，p为像素间距，Wcol为列线宽度，Cmsw为金属线衬底边缘电容。

3． 电路噪声

如图34所示，PPS读出电路的暂态噪声包括六方面： 放大器读出噪声，含热噪声v-th、闪耀噪声v-f； 来自像素电容和反馈电容的像素复位噪声v-rp和反馈复位噪声v-rf，kT/C噪声相关； 像素与列线连接导致微弱电流的起伏，带来的暗电流散粒噪声，包括像素暗电流噪声v-dp和列线暗电流噪声v-dl。这些噪声当然是互不相关的，可以用叠加法加以分析，当分析某一噪声输出时，图34中的其他噪声源均设置为零，最后将所有噪声输出相加计算。



图34被动式像素读出电路的暂态噪声


1) 放大器读出噪声

放大器的噪声源主要是热噪声和闪耀噪声，热噪声主要由温度对电路器件的作用引起，闪耀噪声主要是1/f噪声，两者的幅值分别为
v-th=Δf16mthkT3gm(37)
v-f=Δf2KfmfWLC2ox1f(38)
式中，mth是无输入信号时放大器的噪声贡献因子，k是玻耳兹曼常数，T是器件温度，gm是晶体管的跨导，Kf是闪耀噪声因子，mf是无输入信号时放大器的闪耀噪声，W和L分别是输入器件的长和宽，Cox是氧化层电容。

2) 复位噪声

电路用场效应管开关对像素和反馈电容执行复位操作，复位噪声由开关的沟道电阻的热噪声引起。由于复位噪声的存在，像素在每次复位时会有微小的输出偏差。像素复位噪声和反馈电容复位噪声性质相同，因为用相同的推导过程可以得出形式相同的噪声幅值： 
v-r=G2hSnoπf3dB2(39)
式中，Sno(=4kTRon)是高频噪声幅值，G(=Cp/Cf)是环路增益，h是开关的占空比，f3dB(=1/2πRonCp或1/2πRonCf)是闭环带宽。

将Sno和f3dB代入式(39)可得
v-rp=GhkTCp(310)
v-rf=GhkTCf(311)
3) 暗电流散粒噪声

像素暗电流噪声和列线暗电流噪声是散粒噪声，其大小与暗电流密度和光电二极管面积有关，两者的性质相同，因为用相同的推导过程可以得出形式相同的噪声幅值。从输出端观察，暗电流散粒噪声为
vdp=qCfJdApTiq(312)
vdl=qCfmJdAsdTsq(313)
式中，Jd是暗电流密度，Ap是光电二极管面积，Asd是源栅极面积，Ti是积分时间(曝光时间)，Ts是一行的采样时间，m是传感器阵列中所包含的像素行的数量。

4. PPS的性能特点

PPS使用单只晶体管就可以完成行选通和信号读出，因此具有单元结构简单、寻址简单、填充因子高、量子效率高等特点。这种电路至少有四个明显的优点： 

(1) 在给定的工艺和填充因子的条件下，PPS可以构建更高的像素密度。

(2) 较大的填充因子： 由于电路简单，所占面积很小，能够为感光区域腾出更多的面积。这一特点对于小尺寸像素而言特别实用，不做任何光学处理的情况下，其填充因子大80%，而主动式像素电路只有30%。

(3) FPN噪声低： 固定图案噪声(Fixed pattern noise，FPN)是像素的暗电流等导致的噪声，任何形式的像素电路结构都难以避免，由于像素几何失配不会产生过大的噪声，因此，其FPN噪声要比主动式像素低。结合相关双采样(Correlated DoubleSampling，CDS)技术，噪声水平会进一步下降。

(4) 线性度好： 电荷电压转换与反馈电容相关，因此电路具有良好的线性度，而主动式像素电路因为电路结构的原因，输出信号存在非线性。

不过PPS的缺点也是明显的： 

(1) 由于列选择线上的电容较大，电流很容易受到干扰，所以只有光电流较大才能输出信噪比较高的信号，因此，需要光电二极管的尺寸做得大一些。

(2) 由于受到漏电流以及列线上电容的影响，列线不能太长。由于电荷电压转换电路不是在像素内部完成，电荷信号对受到的列线干扰特别敏感。随着阵列规模的增大，列线电容也随之增大，读出噪声水平与读出速率的快慢和列总线电容的大小均成正比关系。因此，像素阵列的规模不能做得很大，很难向大型阵列器件发展，经典的无源像素结构只能做成大像素尺寸、小阵列、低速率的器件。

(3) 包括选址模拟开关的暗电流噪声的因素，读出噪声大，因此，图像信号的信噪比也就不高。每个像素的输出仅仅依赖光电二极管微弱信号，因此灵敏度低。

总之，PPS具有单元结构简单、寻址简单、填充因子高、量子效率高等优点，但由于列选通具有相对较大的电容，包括选址模拟开关的暗电流噪声的因素，读出噪声大，因此图像信号的信噪比也就不高。读出噪声的典型值为250ermserms： 以电子的均方根(root mean square)表达的噪声参量，也可写为Electrons r．m．s．。，而商用的读出噪声为20erms。由于单纯依赖光电二极管的微弱的光生电流，因此灵敏度低。因为这些难以克服的不足，特别是主动式像素电路出现之后，PPS结构已经很少采用。

3．1．2主动式像素传感器

主动式像素传感器又称为“有源像素传感器”，它与PPS像素电路结构相似，但每个像素内部都含有一个电压放大或缓冲电路，用以改善像素的性能。每个像素的信号放大后，经过开关管传输到列总线上，再由像素阵列外的公共放大器放大后输出。由于放大电路只有在对应的像素读出信号时才被激活，因此具有较低的工作功耗。APS具有和PPS一样高的量子效率，由于信号是被缓冲放大后读出，所以APS读出噪声比PPS小，固定图案噪声低、图像信号的信噪比高。越来越多的设计者采用APS，应用于大部分中低档次的芯片。

APS是当前CMOS图像传感器中广泛应用的电路，目前发展了多种形式的像素电路结构，例如光电管型、光栅型、曝光控制型、对数型、CTIA型(电容跨阻放大器)、针孔光电管型、TFA型(ASIC片上薄膜)等。

1． 光电管型像素电路

光电管型电路是一种标准的结构，如图35(a)所示，每个像素内都增加了缓冲放大器，包含三只晶体管和四个信号线： 复位晶体管T1、源跟随晶体管T2和行选通晶体管T3，以及“复位”、“行选通”、“列线”、Vdd。同一列的所有像素单元的源跟随器共享一个位于列线底部的电流源负载，光电二极管的偏压由复位晶体管复位为一固定初始值(Vdd-VTH1)，VTH1是T1的阈值电压。T3在行选通信号的作用下闭合，复位信号被驱动到列线上。复位后，电路开始对光信号积分，光生电荷在光电二极管PN结等效电容上积累，使得结电压下降。若光电流为Ip，积分时间为T，则电容上的电荷量为
ΔQp=IpT(314)


图35信号放大电路相同的像素电路


光电二极管结电压的变化为
ΔVp=Vdd-VTH1-IpTCp-Cgd1(315)
式中： Cgd1为T1的栅漏电容。待积分时间过后，光电二极管的光生电压信号就是T2的栅极电压，经T2放大后，形成输出电压： 
Vout=ΔVpgmgm+gmb-VTH2-2IoWL-μnCox(316)
式中： VTH2、gm、gmb分别是T2的阈值电压、跨导和体跨导，W、L分别是T2栅极的宽度和长度，μn是T2所有半导体材料的电子迁移率。


2．  光栅型像素电路

光电管型像素电路存在高的噪声，因此，很多研究者先后提出了多种方案降低噪声，典型的电路结构如图35(b)所示。

图35(b)是光栅型像素电路，每个像素内部集成了光栅PG和传输栅TG。这个传输栅是传输晶体管的栅极，用于隔离和传输光电二极管与浮置扩散区(图中的节点FD)之间的信号联系，FD节点的寄生电容CFD能够储存来自光电二极管的信号电荷(光生电子)。电路的工作时序如下： 

(1) 信号电荷在光栅(PG)下积分，在信号电荷被读出前，输出浮动扩散点首先被复位晶体管T1复位，清空浮置扩散区内的电子，FD点电压复位至VDD； 同时，行选通晶体管T3闭合，复位电压Vrst由源跟随器跟随输出。

(2) 积分完成后，晶体管T1断开，传输晶体管的栅极TG高电平，光电二极管存储的电荷迅速向浮置扩散区转移； 随后，栅极上的脉冲控制信号由高电平转变为低电平，光栅下的信号电荷全部转移至节点FD，产生一个信号电压Vsig，该信号同样由源跟随器跟随输出。

上述两步操作表明，光栅型像素电路能够同时进行电荷积分和读出操作，在列线上先后输出复位电压Vrst和信号电压Vsig。复位电压由位于列线底部的采样电容重新引入，该电容一般为1~4pF。将复位电压与信号电压相减，可得到光生信号电压(Vrst-Vsig)，这便是相关双采样技术的基本思想。通过相关双采样电路和差动放大器相配合，在两次信号相减的同时，消除了信号电压中的噪声，能够有效抑制源跟随管的1/f噪声、源跟随管阈值电压不一致而引起的FPN噪声、由复位管复位操作引起的热噪声，输出信号的噪声达到了大多数电荷耦合器件的噪声水平。

光栅型像素电路利用了电荷耦合的原理，“电荷耦合”的概念，将在第4章详细介绍。电荷转移和相关双采样能够形成低噪声输出，提高像素的信噪比，传输栅的存在也能够避免相邻像素间的串扰(Crosstalk)，减轻了溢出现象，也大幅提高了读取速度。光栅器件的多晶硅栅极能够吸收掉一部分光线，导致到达硅体的光线，尤其是短波长光线的能量有所减少，降低了像素灵敏度。背照式 CMOS 图像传感器工艺成熟之后，多晶硅的光能吸收问题得以解决，光栅型像素电路的这一缺点也得到了一定程度的克服，提高了低光照的适应性。

光栅型像素电路的工作模式为开发全局曝光方式CMOS图像传感器奠定了基础。全局曝光方式将整个像素阵列同时曝光，并且同时结束曝光； 在每个像素曝光结束后，其曝光过程中捕获的信号电荷同时在其悬浮扩散区进行存储，然后再逐行地读出每个像素的信号。

3．  曝光控制型像素电路

如图35(c)所示，其结构非常类似于光栅型像素电路，增加了一个用于曝光控制的传输门EC。EC 信号控制像素的全局复位，TG 信号用于控制电荷从光电二极管到悬浮扩散区的转移。电路的工作过程是： 在曝光积分时间内，所有像素首先通过全局复位信号EC 进行复位，在曝光积累结束前，TG 信号使得光电二极管中积累的电荷转移到悬浮区内； 在曝光积累结束后，像素曝光信号Vsig首先被采样，然后，光电二极管复位，采样像素的复位信号Vrst。

这种像素结构有几个突出的特点： 

1) 抑制图像的“开花”(Blooming)问题

对于较暗背景中特别亮的小面积目标，对应的像素积分的电荷很多，会溢出并进入它的周边像素，使得它周围原本没有光照的像素形成虚假的光信号输出，这种现象称为“开花”。当光电二极管的输出信号达到一定的强光值时，传输门EC开启，使光电二极管上溢出的电荷向电压VEC释放，VEC的电压值通常可以在芯片外部控制调整。

2) 充分复位光电二极管

由传输门EC直接对光电二极管复位，将其复位至VEC，若VEC=Vdd，便可以将光电二极管的电压直接复位至Vdd。这一操作是与图35(b)的电路结构相比较的，光栅型像素电路由RST对FD复位，再通过传输门TG间接对光电二极管复位。这一操作有可能出现光电二极管复位不充分的情况，这必然影响图像质量。

3) 获得高帧频图像输出

传输门EC可以对曝光操作进行控制，可以用于流水线型的全局曝光读出模式，大大提高图像传感器的帧频。其工作模式不仅可以获得高速图像的读出，也可以做到全局快门控制，以全局曝光方式工作。

4．  对数型像素电路

对数型像素电路具有较理想的线性输出特性，拥有很高的动态范围，一般可高达120dB，其像素单元结构如图36(a)所示。它由光敏二极管、负载管T1、源跟随器T2和行选通管T3组成。设置栅极偏置电压(图中接到电源电压VDD)，使负载管T1工作在亚阈值区，T1的漏源电流为
IDS1=I0W1L1exp(VGS1-Vth1)n(kT/q)exp1-nn(kT/q)VSB(317)
式中： I0为一常数，由具体的工艺决定，n为亚阈值斜率系数，与栅效率有关，VSB为T1的源衬结偏置电压。由式(317)可得
VGS1=Vth1+nkTqlnIDS1I0(W1/L1)+VSB(n-1)(318)
当稳态建立后，流过T1的电流与光电二极管的电流相等，即Ip+Id=IDS1，并且根据图36(b)的电路连接，可知Vout=VS=VSB。忽略暗电流Id，且n1，可得T1的输出电压： 
Vout=VDD-Vth1n-kTqlnIpI0W1/L1(319)
由式(319)可以看出，T1的输出电压是源跟随器的T2栅极电压，它随着光照强度的增加而呈对数下降。光信号被连续地转化为电压信号，而不像其他类型像素电路那样需要复位和积分的分步过程。



图36两种像素电路结构


对数响应型有以下缺陷: 

(1) 光电转换特性对器件物理参数相当敏感，特别是负载管的阈值电压，由于受工艺的影响，不同像素间的负载管的阈值电压存在一定的偏差，一般在±20%之内，因此它的FPN非常大。

(2) 在低光照下，由于光电流较小，电路的动态响应缓慢，需要较长的建立时间，这会造成图像的拖影。

(3) 为了获得需要的负载电阻，负载管需要大的宽长比(W1/L1)，造成像素单元面积增大，不利于应用在对芯片面积或者分辨率有严格要求的场合。

(4) 由于对数响应型对输入信号进行了极度压缩，降低了图像的对比度，因此它对探测小的光学信号的变化能力比较差，不适合边缘探测和移动探测。

尽管对数型像素电路存在大的FPN，但还是比较适用于大动态范围要求的场合。在3．3节将作更进一步的电路分析。

5．  CTIA型像素电路

图36(b)所示的CTIA像素电路，由运算放大器和反馈积分电容构成的积分运算器，能够有效压制低噪声，同时具有高增益和低读出噪声的优点。当复位开关的控制信号为“1”时，复位开关闭合，积分电容被复位； 当复位开关的控制信号为“0”时，复位开关断开，光电流流向积分电容，开始曝光积分。

积分电容和复位管被放置在放大器的反馈环路中，在积分工作期间，即使输出积分到很高的电压，电路也可以通过放大器的高增益确保电路的“虚短”特性，这既能保持探测器零偏，又能防止光电流在像素内部寄生电容上积分，使光电流几乎全部注入积分电容上，因此 CTIA的注入效率很高。由于密勒效应的影响，只要运算放大器的增益足够高，单元内部的积分电容就可以做得很小，从而在低背景、低信号应用中也能获得高灵敏度，且在较宽的背景范围内，该读出都有很低的噪声。CTIA的输入阻抗很低，线性度也极好。CTIA成为了目前很多高性能红外读出电路设计的重点研究对象。

由于硅片处理的差异导致晶体管阈值和放大特性的不同，像素电路具有较高的固有噪声。为了克服这一缺点，可以采用双采样电路，它可以很好地消除阈值差异，降低视频背景的漂移噪声。但是CTIA也有固有的不足，由于其电路内部含运算放大器电路结构，因此其面积和功耗将明显大于其他的电路结构，其面积也比一般电路面积大。

3．1．3像素的光学结构
1. 微透镜
围绕着每个像素的光电二极管，需要布置相应的电路，如图37所示的电路层，对每个像素进行选通、调控等。电路层中包含多层金属总线，单层金属线的厚度约为10nm，多层金属总线形成厚度达到几十纳米甚至更深的“井”，光电二极管处于“井”结构的底部。这种深井是由不透明的金属构成的，因此井壁是不透明的、而且是吸收光的，它会阻挡一部分入射光进入井的底部，如图37(a)所示。由于结构上的特点，决定了像素的填充因子(有关填充因子的概念，将在本章的性能指标部分介绍)一定是小于100%的。如果不采取任何措施，光束直接照射到像素表面，光能的利用率就受到填充因子的影响。



图37像素的光学结构


为了提高入射光的利用率，每个像素都会制作一个微透镜，在透镜的折射下，原本被井壁阻挡的光线可以投射到井的底部，聚集在光电二极管的感光面上，如图37(b)所示。微透镜的作用就是对入射的光束进行收集会聚，再投射到光电二极管的感光面，这样一来，入射光的利用率得以提高，等效地提高了像素的填充因子(达90%)。有研究表明，微透镜可以使像素的入射光的利用率提高近1倍左右，在可见光谱范围内的量子效率平均提高两倍多。根据微透镜所布置的位置，像素的光学结构有前置式和后置式两种。

前置式结构如图37(a)所示，光线经过光学层，由微透镜会聚后，穿越电路层的深井，再到达感光层，投射到光电二极管感光面上。这种结构的常规版图可以制作像素间距大于2μm尺寸的图像阵列。由于像素填充因子的影响，在不同的视场角下，光能的利用效率有所不同。对于要求更小尺寸的像素和更多层金属的版图，前置式结构已经无法满足。

后置式结构如图37(b)所示，这种结构又称为背光式(BSI)像素结构。光学层布置在电路的背面，光线穿过光学层，由微透镜会聚后，直接照射感光层。背光像素的受光照面在硅片的“背面”，这是相对于半导体工艺制作的所有器件和导线都在“正面”而言的。为了让光线能够从背面照射到光电二极管的PN结上，像素阵列光电二极管的硅片背面必须减薄，使得光线可以穿过硅片并进入一定的深度。由于背光像素的电路层在光照的另一面，背面没有电路，像素的光能利用效率不受电路布置的任何影响。因此，背光结构的电路层允许安排更多的金属层，布置复杂的电路，并且可以制作出极小像素间距的传感器，一般小于1．2μm。

目前，在图像传感器上使用的微透镜可以是折射型，也可以是衍射型，折射型微透镜适用于较小尺寸像素(一般为3~12μm)，折射型适用于较大尺寸的像素(20~50μm)。BSI像素在背面制作微透镜，可以是折射型，也可以是衍射型，由使用波长、所需F数和工艺条件决定。

折射型微透镜具有设计和工艺简单的特点，但是采用光刻胶热熔工艺的微透镜的焦长和表面形貌较难控制，获得的相对孔径在F/1~F/10，过高或过低相对孔径的微透镜较难实现。衍射微透镜采用二元光学方法制作，通过多次光刻和离子束刻蚀或反应离子刻蚀，微透镜的衍射效率理论上可以达到95%(8 台阶)和98．7%(16 台阶)以上，但是衍射微透镜存在多次套刻对准的问题，且受到光刻工艺对最小线宽的限制，获得高衍射效率的微透镜比较困难。

折射型微透镜阵列的制作方法有多种： 平面工艺离子交换法、光敏玻璃法、全息法、菲涅耳透镜法、光刻胶熔融法、PMMAX光照射及熔融法。其中，光刻胶熔融法(回流工艺)工艺简单、制作周期短、成本低廉，因而被广泛采用。光刻胶热熔成形技术与图形转移技术相结合，是微透镜加工的常用工艺，柱形光刻胶受热后发生物理变化，在表面张力作用下形成球冠面形。微透镜的具体形貌与光刻胶和基底的浸润程度有关，也与升降温速、热熔温度、保持时间、基底材料与光刻胶材料的界面状况等因素有关。通过对这些因素的改变，可以灵活控制微透镜的形貌参数，获得不同光学参数的微透镜。

光刻胶熔融法制作工艺的大致流程分为涂光刻胶、曝光和显影、热熔烘烤几个步骤： 

(1) 涂光刻胶： 在制作了彩色滤光片的硅片顶层，以旋涂的方式涂布厚度均匀的光刻胶。为了避免出现 45°角旋纹的问题，涂布机需要保持一定的旋转速度(500~2000rad/s)，环境温度保持稳定(一般在25℃)。

(2) 曝光和显影： 采用掩膜版对光刻胶进行紫外曝光，得到一定尺寸的矩形图案，然后放入显影液显影，通过显影液清洗掉多余的光刻胶。显影时间需要严格控制，确保保留下来的胶层的厚度均匀性。

(3) 热熔烘烤： 将显影后的硅片放入烘箱中，通过热熔烘烤，形成微透镜阵列。

回流工艺比较成熟、稳定可控、成本较低，在微透镜制作工艺中比较常用。根据CMOS图像传感器的结构层次可知，一般是在彩色滤光片制作完成后，再在滤光片层上制作微透镜。

CMOS图像传感器应用端的要求越来越高，特别是像素尺寸要求不断缩小。但是，在像素内有源电路的部分无法进一步缩小，所以光电二极管的感光面积必然缩小，从而降低了像素的光电转换效率。通过在每个像素上制作一个微透镜，就可以有效解决光电转换效率的问题。此外，由于光敏元件面积减小，像素的灵敏度提高、噪声降低、响应速度提高(结电容减小的缘故)。微透镜是一种很好的提高填充因子的方法，它在CMOS图像传感器中已得到广泛应用，大幅度提高了器件的低光照的响应特性，从而将CMOS图像传感器推向实用化的层面。

2. 彩色滤光片

光电二极管是由半导体材料制成，具有宽光谱的光谱响应特性，对不同波长的光能量无法分辨。为了区分不同颜色的光，从而记录彩色图像信号，像素结构中需要使用彩色滤光片。



图38彩色滤光片对光线

的调控

若干像素单元按照矩阵的方式排列，便构成CMOS图像传感器的阵列结构。如图38所示，器件在硅衬底上制作光电二极管像素阵列，然后再依次制作SiO2层、彩色滤光片层、微透镜阵列层。微透镜、彩色滤光片、像素三者一一对应，即每个像素单元对应一只微透镜、一种颜色的滤光片。

以红色滤光片为例，如图38，白光照射在像素上方，透过彩色滤光片之后，只有红色的光能够透过，其他颜色的光被滤光片吸收。透过滤光片的红色光投射在光电二极管的感光面，该像素所输出的电信号只与红色光照度相关。这样一来，该像素便具有了颜色选择性，它可以且仅记录红色光的光照度。

彩色CMOS图像传感器的关键是在硅片上集成高性能、高可靠的彩色滤光片阵列，目前彩色滤光的方法主要分为两大类，即基于颜料的方法和基于结构的方法。基于颜料的方法利用燃料、颜料等聚合物材料，通过对材料的光谱吸收特性实现颜色的分离； 基于结构的方法利用光的自身特性，通过特定设计的结构实现颜色的分离。从彩色滤光片阵列布局的方式上看，主要有色彩马赛克(color mosaic，CM)和分层响应(color stacked，CS)两种方案。前者是一种“边到边”(sidebyside)的技术方案，具有分色效果好、工艺兼容性好、成本低等优势； 而后者是“深度滤波”(depth filters)技术，具有光信号摄取比例高、分辨率高等特点。在CMOS图像传感器的制造工艺中，将彩色滤光片称为“彩色滤光层”。

1） 马赛克彩色滤光片

马赛克彩色滤光片是一种基于颜料的彩色滤光方法，它利用染料的光谱特性实现色彩的分离，也是目前常用的彩色滤光方案，其制作工艺流程如图39所示。

(1) 平坦层工艺： 在衬底表面涂布一层平坦胶水，然后进行烘烤固化形成平坦层(Planarization，PL 层)。平坦层改善了衬底表面的平整度，从而可以提高彩色滤光层的光学性能，同时，也能增加色彩材料的黏附力。

(2) 彩色滤光层制备： 彩色滤光层的三种颜色分三个步骤分别制作，工艺过程相同。以旋涂的方式在PL层上涂布某一种颜色的光阻剂，然后用光掩膜版做光刻曝光，曝光出需要保留的这种颜色的像素滤光区域，最后利用显影液显影掉多余的未曝光绿色光阻剂材料，通过合适温度的热烘处理实现滤光片材料的进一步固化，即可完成对应颜色的滤光区的制作。三次相同的工艺之后，最终完成彩色滤光层的制备。



图39彩色滤光片及微透镜制作流程


彩色滤光层制造工艺和滤光性能主要依赖于彩色光刻胶的成分，彩色光刻胶需要具有较好的负性光敏特性。在完成彩色滤光层制作后，其表面会存在一定程度的不平整情况，这种表面状态会改变微透镜的面型，从而影响光电二极管对光的吸收。因此，在制作微透镜工艺之前，需要在彩色滤光层涂布一层平坦层。

基于颜料的彩色滤光片的每种颜色的制作都需要一系列流程，工艺过程比较复杂，且燃料对环境不友好。受到聚合物材料的限制，颜色的光谱特性不易调节。由于染料吸收系数低，滤光薄膜不宜做得太薄(例如几百纳米的厚度)，也因此限制了入射光线的角度，因为入射角过大，容易出现相邻颜色之间的串扰。

2） 分层响应滤光技术

分层响应是一种基于结构的彩色滤光方法，它利用光线在硅片中穿越深度的光谱特性实现色彩分离。光子在硅材料中的传播过程与光的波长有关，在能量被完全吸收之前，光子能在硅材料中穿越一定的深度，这个深度与光子的能量相关。光子的能量与它的波长(频率)相关，短波长(高频率)光，例如蓝光、紫外光等的能量高，长波长(低频率)光，例如红光、红外光等的能量低。相比于短波长光，长波长光在硅片中能够穿越得更深，如图310所示。例如，400nm波长光在硅材料中的吸收深度不到0．1μm，500nm波长光在硅材料中的吸收深度将近10μm，600nm波长光在硅材料中的吸收的深度将近15μm，红外光在硅材料中的吸收深度大于0．1mm。



图310光波吸收深度


既然光在硅片中的吸收深度与光的波长密切相关，那么通过测量吸收深度就可以记录颜色信息，这便是“深度滤色”的思想，又称为“分层响应”(X3)。基于深度滤色的基本原理，设计出如图311所示的分层响应彩色滤光结构，用三层独立的光电二极管相互层叠，对三种不同波长的光实行分层响应。蓝色光的吸收区域为x=0．2~0．299μm，绿色光的吸收区域为x=0．796~1．194μm，红色光的吸收区域为x=1．819~2．728μm。三个区域分别输出光电流IB、IG、IR，对应蓝、绿、红三色光的照度。



图311分层响应彩色滤光结构


以保护玻璃上表面作为坐标原点，建立坐标x，在x=x1，x=x2之间被吸收的光能量为
E(λ)=E0(λ)(e-α(λ)x1-e-α(λ)x2)(320)
式中，E0(λ)是入射光的能量，α(λ)是波长为λ的光在硅片中的吸收系数，α(λ)=4πk(λ)/λ，k(λ)是晶体硅的消光系数。

由式(320)可以得到吸收效率： 
η(λ)=E(λ)E0(λ)=e-α(λ)x1-e-α(λ)x2(321)
引入未知参数γ1、γ2，且0≤γ1≤1,0≤γ2，x1=(1-γ1)x0、x2=(1+γ2)x0。则波长为λ的光束，其吸收深度为
d=(γ1+γ2)x0(322)
令dη(λ)/dλ=0，可以计算出峰值吸收效率： 
ηp=1-γ11+γ2(1-γ1)/(γ1+γ2)-1-γ11+γ2(1+γ2)/(γ1+γ2)(323)


以及吸收层的基准深度： 
x0=1(γ1+γ2)α(λ)ln1+γ21-γ1(324)
若某一颜色，其峰值波长为λm，则该颜色的吸收层基准深度为
x0=1(γ1+γ2)α(λm)ln1+γ21-γ1(325)
例如，取γ1=γ2=0．2，峰值波长为0．45μm蓝光，其吸收层的基准深度为0．249μm； 峰值波长为0．53μm绿光，其基准深度为0．995μm； 峰值波长为0．62μm红光，其基准深度为2．274μm。

3） 等离激元滤光技术

等离激元滤光技术(Plasmonic Color Filter)是一种基于结构的彩色滤光方法，它利用光波的表面微结构传播特性实现色彩的分离。与其他的基于结构的滤光方法一样，等离激元滤光具有色彩饱和度高、滤光性能稳定、对环境友好等优点。

常见的微结构有两种： 亚波长光栅和多层介质薄膜，亚波长光栅结构能够提供超越衍射极限的分辨率，通过调整结构参数可获得不同的偏振特性； 多层介质薄膜结构的彩色滤光片只需要多层介质的堆叠就可以制作，因此在实际的生产中占有一定的优势。这里，对亚波长光栅结构做简单的介绍，实际上，亚波长光栅有很多种不同的结构，例如，彩色偏振等离激元、周期性银纳米线等离激元、圆环、铝同轴孔、同心圆沟槽等。

白光与微结构相互作用会产生干涉、衍射或散射等光学现象，这些现象的光学特性与光的波长相关。研究者设计了各种形状的周期性微结构，这种数百纳米的微结构可以产生表面等离子谐振 ( Surface Plasmon Resonance，SPR )，通过调节微结构阵列的周期来改变透射光的波长，如图312(a)所示。在金属薄膜上制作的周期通信圆沟槽，中央留有一个小于波长的小孔，如图312(b)所示。若光的波数与微结构波数相匹配，表面等离子会被激发并被周期微结构衍射，沿着径向传播。与表面等离子波数不匹配的光会被正面金属层反射，只有波数匹配的光透射，从而实现了波长的选择。



图312等离子体激元彩色滤光


入射光的波矢为
kx=k0sinθ+mK(326)
式中，k0是入射光在自由空间中的波矢； θ是光的入射角； m为散射阶数，与衍射级数对应的整数； K是光栅矢量，K=2π/p，p为微结构阵列的周期，即图313中的沟槽周期。

表面等离子波矢为
ks=ωcεdεfεd+εf=2πλεdεmεd+εf(327)
式中，εd是介质膜材料的介电常数，εm是金属薄膜材料的介电常数，ω为平面波矢量的角频率，c为真空中的光波速度。在金属和介质的交界面上，任何给定频率光的波矢量都会小于金属表面的等离子体波矢量，所以需要满足一定的条件才能激发表面等离激元。常见的激发方式有带电粒子激发，用于相位匹配的棱镜耦合、光栅耦合，近场照明激发等。



图313同心圆沟槽滤光结构与效果


当入射光波矢与表面等离子波矢匹配时，即k=ks，表面等离子就被激发。根据式(326)、式(327)可知，峰值波长的位置不仅与金属和介质的介电常数、入射光的方位角和周期大小有关，而且与阵列的散射阶数有着密切的联系。散射阶数取决于阵列的几何形状，纳米结构形状的改变也会影响透射峰值波长的位置。在阵列的几何形状和材料确定的情况下，通过调整入射光角度和周期大小就可以改变透射峰的波长位置，以此获得峰值波长不同的透射谱。

取m =1、θ=0，联立式(326)、式(327)，可得透射光谱的共振峰： 
λp=2πεdεfεd+εm(328)
结构参数如图313所示，包括沟槽周期p、沟槽深度d、薄膜厚度t，口径a。研究者设计了微结构的一组参数，分别为p=500nm，d=80nm，t=180nm，a=90nm。对于峰值波长为650nm透射光，通过仿真，在入射角θ=0°~45°内，透射光在10°的锥角内的透射光的峰值是稳定的。

在彩色滤光片的辅助下，硅基光电二极管阵列构成的CMOS图像传感器具有了记录三基色的能力。无论哪种彩色滤光片，都具有特定的光谱响应特性，其透过率与光的波长相关，可以用函数f(λ)表示。考虑到彩色滤光片的作用，根据式(31)，某一像素在积分时间T内积累的电荷量为
Q=q·FF·T·Ahc·λη0(λ)P(λ)∫λ2λ1f(λ)dλ(329)
对于硅材料而言，式中的λ1=400nm、λ2=1100nm。

3．2彩色图像的获得

3．2．1人眼的彩色视觉

人眼的视网膜是视觉信息采样系统，由感光细胞、双极细胞和神经节细胞三级神经元组成。视网膜的感光细胞有视杆细胞与视锥细胞两种。其中，视锥细胞主要在强光下工作，称为明视觉，可辨别颜色。明视觉的实现依靠三种视锥细胞，它们最敏感的波长分别是420nm、534nm、564nm，因此又分别称为感红、感绿、感蓝视锥细胞。两类感光细胞的光谱响应曲线光谱响应曲线是指光能量接收器件对不同波长的光能量的相对灵敏度，人眼对光的相对灵敏度称为光谱光视效率或视见函数。假设对单位波长(1nm)内具有Pλ瓦的辐射能通量，眼睛能感受到的光通量为Φλ流明，记作Kλ=Φλ/Pλ。任意波长的Kλ值，表示1W该波长的光对于人眼的相当的光通量（流明）数，为绝对灵敏度。

设K555=1a.u.，即以人眼最敏感λ=555nm的黄绿光为基准。人眼的视见函数定义为Vλ=Kλ/K555。如图314所示，人眼的感光细胞对可见光波段具有响应能力，并分布于可见光波段的不同范围。



图314三种视锥细胞的光谱响应曲线


按照色度学的理论，红、绿、蓝三种光线按不同的比例混合，可以获得任何一种颜色的光。因此，杨亥姆霍兹三色理论(YoungHelmholtz trichromatic theory)认为，由于人眼具有三种不同形态的视锥细胞(颜色感受器)，它们分别对红、绿、蓝三种原色最敏感，从而分别可以接收红、绿、蓝三种纯色的光能量。经大脑合成之后，可以得到全彩色的图像，如图315所示。若三色等量，则产生白色光。将三种视锥细胞对光波长的响应曲线合并，可以得到人眼的视锥细胞光谱响应曲线，如图316所示。图316同时标出了视杆细胞的光谱响应曲线。




图315视锥细胞的彩色图像获得过程





图316视觉细胞视见函数曲线



从色度学的知识可知，既然人眼只对红、绿、蓝三种颜色敏感，并根据这三种颜色合成出全光谱色彩，那么为了表达自然界全彩色的图像，也就只需要红、绿、蓝三种基色就可以了。当然，三种基色相互独立，任一种基色都不能用其他两种基色混合得到。红(R)、绿(G)、蓝(B)三种基色就是相加混色系中一组很好的三基色。

3．2．2滤光片阵列

彩色滤光片采用红、绿、蓝三基色组成阵列结构，如图317所示，在每个像素上，可以制作一个滤光层，使对应的像素只对一种基色的光能量产生响应。最常用的基色像素排列方式如图317所示，为Bayer 像素排列模式，即1×红色、2×绿色、1×蓝色的排列方式，将 4 个相邻的像素构成一个 2×2 矩阵。如果将2×2 矩阵看成四个象限，那么色彩顺序从第一到第四象限依次是红色、绿色、蓝色、绿色。



图317彩色滤光片阵列


设CMOS图像传感器共有效像素m列、n行，通常称为像素规模“m×n”像素，那么，对应的彩色滤光片的单元总数也是m×n。也就是说，一个像素对应一种颜色，或者一个像素记录一种颜色。

彩色滤光片三基色的光谱响应曲线如图318所示，在可见光区域(380~780nm)，三原色的透过率光谱的峰值是相互分开的。在近红外区域(780nm以上)，滤光片依然有一定的透过率，直到1100nm之后完全不透明。三种颜色的滤光片在近红外区域的透过率特性趋于一致。因此，使用这种彩色滤光片的CMOS图像传感器可以记录近红外图像。



图318彩色滤光片三基色的光谱响应曲线


彩色滤光片一般采用以下工艺流程制作： 

1． 平坦层

像素单元的底层不平坦必然导致彩色滤光层不平整，进而导致入射光折射并且光的位置和密度在 CMOS 图像传感器的表面被改变。因此，在制作彩色滤光层之前需要先做一层平坦层，覆盖在衬底表面。在改善硅片的平整度的同时，平坦层也可以增加色彩的附着力，提高器件的合格率。

先在衬底表面涂布一层平坦胶水，然后烘烤固化。清洗硅片。

2． 绿色滤光层

采用涂布设备，以旋涂的方式将绿色光阻剂涂布于平坦层上； 然后利用光刻机通过光掩膜版照射，曝光出需要保留的绿色像素滤光区域； 最后在显影机中利用显影液去掉多余的未曝光绿色光阻剂材料，制得绿色的滤光区，获得绿色滤光层(G层),清洗硅片。

3． 蓝色滤光层

通过旋涂工艺将蓝色光阻剂涂布于已做完 G层的图像传感器硅片上，采用蓝色滤光层的光掩膜版做光刻工艺，曝光出需要保留的蓝色像素滤光区域； 显影掉多余的未曝光蓝色光阻剂，制得蓝色的滤光区，获得蓝色滤光层(B层)，清洗硅片。

4． 红色滤光层

通过旋涂工艺将红色光阻剂涂布于做完G层和B层的硅片上，采用红色滤光层的光掩膜版完成光刻工艺，曝光出需要保留的红色像素滤光区域； 显影掉多余的未曝光红色光阻剂，制得红色的滤光区。

最终完成的 R、G、B 三层的彩色滤光层，清洗硅片。

5． 平坦层

在做完绿、蓝、红色三层颜色滤光层后，CMOS 硅片表面会存在一定程度的膜厚不一致，这种膜厚不一致会改变光路导致入射光的反射量增加，从而减少图像传感器光电二极管对光的吸收。因此，需要在做微透镜工艺之前，再涂布一层平坦层(Top Layer层)，用来改善 CMOS 硅片表面平坦度，改善入射光的反射量。

将平坦层材料涂布于硅片表面绿、蓝、红色颜色滤光层之上，再经过烘烤，固化平坦层，清洗硅片。

3．2．3颜色的计算

彩色滤光片的布置规律是，一个像素记录一种颜色，即若传感器的像素规模是m×n，则共记录了m×n个颜色数据。而对于一幅彩色图像而言，一个像素的颜色应当是红、绿、蓝三种颜色，即若一幅图像的像素规模是m×n，则共有3×m×n个颜色数据。这就意味着，CMOS图像传感器记录的原始图像，每个像素有一种颜色，另外两种颜色可以按照一定的方法通过计算的手段得到。

如图319所示，绿色单元中，它周围8个像素有两种色彩排列方式。为了计绿色像素的另外两种颜色(红色与蓝色)，根据周围8个像素的排列位置，分别选择对应的两个像素的颜色计算。



图319平均法计算


例如，选择上下或者左右两个蓝色像素的颜色值，取平均值即得到蓝色的颜色值，选择上下或者左右两个红色像素的颜色值，取平均值即得到红色的颜色值。

另外红色和蓝色单元，如图319(b)所示，分别取其周围8个像素中的4个像素的颜色值计算。

例如，对于红色像素，需计算蓝色和绿色的颜色值，分别如下： 

选择四个角的蓝色像素的颜色值，取平均值即得到蓝色的颜色值，选择上下、左右四个绿色像素的颜色值，取平均值即得到绿色的颜色值，即
G（R）=G1+G2+G3+G44
G（B）=G1+G2+G3+G44(330)
对于蓝色像素，计算红色和绿色的颜色值方法相同，不再赘述。

3．3传感器的信号读出与特性

3．3．1信号处理与读出

CMOS图像传感器采用集成电路工艺制作，可以在芯片上集成很多必要的电路。为了改善器件的性能和功能，如抑制固定模式噪声等，可以将信号处理电路集成于芯片上。

1．  相关双采样电路

如图320(a)所示，相关双采样电路(Correlated Double Sampling，CDS)的基本电路由两组S/H 电路和一个差分放大电路组成，两路采样保持电路相互独立，复位采样通道包括开关ΦR和电容器CR，信号采样通道包括开关ΦS和电容器CS。具有相关双采样性能的电路，例如图35(b)、(c)的像素电路，它们的输出端与图320(a)的输入端相连。在复位和采样的两步操作中，先后输出复位电路的噪声Vrst和读出信号Vsig，并分别保持在电容CR和CS中，然后对保持在两个电容中的Vrst和Vsig进行减法运算，得到输出信号Vout。

结合图35(b)、(c)，图320(a)，分析电路的工作时序。如图320(b)所示，电路的工作时序如下： 

(1) 在信号读出阶段，在t1~t7时刻，ΦSEL一直处于导通(高电平)，选通管一直处于导通状态。

(2) 在t2时刻设置ΦRST处于高电平，像素被复位，电路输出复位电平或者KTC噪声； 紧跟着，ΦR在t3时刻变为高电平，噪声被储存在电容器CR中。

(3) t4时刻打开传输门TG，将光电二极管中的电荷转移到FD中，随后ΦS置为高电平，信号电荷被采样并保持在CS中。

(4) 最后，ΦY为高电平，将CR和CS上的电压同时引入差分放大器，对信号进行差分运算。



图320相关双采样电路分析



CDS技术在像素单元进行信号积分的过程中在短时间内两次点采样，然后将这两个采样值进行相减，利用电路中噪声电压在时间上的相关性来消除噪声，可以有效降低噪声、提高电路信噪比。

设MOS开关管关断电阻为Roff，关断后的KTC噪声为V0，采样电容值为C。噪声电平和时间的关系为
Vn=V0etRoffC(331)

如果两次采样的时间间隔为τ，则最终输出残留的噪声为
ΔVn=KTC1-eτRoffC(332)
可见，通过增大采样电容值、增大MOS开关管关断电阻、缩短采样间隔等手段，均可以进一步降低KTC噪声对最终输出电压的影响。

CDS同样可以抑制MOS管的噪声。相关双采样可以用δ函数表示为
f(t)=δt+12τ-δt-12τ(333)
式中： τ为积分过程中两次采样的时间间隔，对其进行傅里叶变换可得系统传输函数为
F(jω)=∫∞0δt+12τ-δt-12τejωtdt(334)
进而可得电路的传输函数的幅频特性方程： 
H(jω)=-2jsinωΔτ2(335)
若采用一阶低通滤波器对电路的输出信号做滤波处理，则电路最终的幅频特性为
|H(jω)|2=4ω2cω2c+ω2sin2ωΔτ2(336)
式中： ωc是一阶低通滤波器的截止频率。幅频特性如图321所示，不难看出，低频段噪声得到了很好的抑制，当两次采样的时间间隔Δτ很短时，极低频的噪声基本上完全被消除； 在高频段并不能得到很好的抑制，部分高频噪声甚至被增强了，但由于一阶低通滤波器的滤波作用，即降低ωc，高频噪声也会在很大程度上被抑制了。



图321相关双采样电路频谱特性


2．  电子快门曝光

CMOS图像传感器用电子快门控制曝光，相同结构阵列的不同工作方式和时序，可以产生不同的电子快门方式。最常见的电子快门曝光方式有两种： 滚筒曝光(Rolling Shutter)和全局曝光(Global Shutter)。

滚动快门曝光是CMOS图像传感器阵列最基本的曝光方式之一，是一种逐行曝光方式。如图322所示，传感器从首行(第一行)的开始曝光，设曝光时间为Te，从t1时刻开始，对首行的每一个像素同时曝光，然后，依次逐行地对每一列进行曝光操作，直至最后一行曝光结束，所用时间为Δt(=tm-t1)。逐行扫描的执行时间Δt 与 Te没有特定的关联性，Δt由传感器内部电路的驱动时序决定，行与行之间的曝光控制时间间隔为Trow，这个时间由芯片内部控制，一般不可变； Te由用户根据实际需要决定，由外部电路控制，是可变的参数。每一行像素曝光操作完成后，经过一个相应的时间间隔(Te-Δt)，完成了全部像素的曝光，系统开始读出像素信号。滚动快门的曝光读出操作是按行执行的，最小曝光时间为Trow。传感器的曝光时间为
Te=kTrow(k=1，2，3，4，5，…)(337)
即传感器的曝光时间以Trow的整数倍计算。



图322两种曝光方式的图解


滚动曝光方式的时序如图323所示，每一行的重置控制信号Reset(0)、Reset(1)、Reset(2)、……、Reset(N-1)，依次间隔相同的Trow时间，开启重置执行曝光开始操作，直到阵列所有的行都开始曝光。



图323滚动曝光方式的时序


在滚动曝光的每一行都是在不同时间点开始和结束曝光的，如果被摄物体在曝光过程中运动，先曝光的画面部分与后曝光的同一画面部分在不同的相对空间位置上，使成像的物体形状产生失真。在闪光灯辅助补光的情况下，滚动曝光可能会让一帧图像经历闪光的发生、增强、最亮、降低和消失的过程，不同时间曝光的画面被光照射的强度不同，造成画面的闪光失真。

全局快门曝光是CMOS图像传感器阵列最常见的曝光方式之一，其曝光过程中，整个阵列的全部像素在t1时刻同时开始曝光，在t1+Te时刻同时结束曝光，所有像素的曝光时间相同，均为Te。曝光完成后把每个像素捕获的光电信号同时存储在各自的暂存区(例如悬浮扩散区FD)中，然后用类似滚动快门的读出方法滚动选择读出。这里所讨论的全局快门曝光方法，是建立在像素信息存储在悬浮扩散区FD中的基础上，保证全阵列像素相同的曝光开始和结束时间。全局曝光方式更适合于记录运动物体的图像。

全局曝光方式的时序如图324所示，阵列中所有像素的重置同时开启，开始阵列像素的曝光操作； 经过曝光时间Te后，全阵列像素的传输门同时第二次开启结束曝光。随后，每个像素的光生电荷被传输到各自的悬浮扩散区FD中，开始信号的读出过程。信号的读出采用滚动逐行开启的方式，一行像素中的选择开关打开，依次读出每一像素的信号，一行信号读出后再读下一行信号。



图324全局曝光方式的时序


3．  图像阵列信号的读出

像素阵列的曝光是按行控制的，而像素阵列的信号读出是按列进行的，如图325所示。

像素阵列最底部，每一列配置一只模拟开关S0，S1，S2，…，所有列线的信号经过各自列的模拟开关连接到一只公共放大器的输入端。若某一行的选择信号有效，选中了这一行像的全部像素，例如第i行(rowi)的全部像素，rowi的全部像素信号都传输到相邻的列线上，所有的列线同时输出的是rowi上每个像素的光电信号。



图325像素阵列的列读出电路结构示意图


然后，模拟开关S0，S1，S2，…，沿水平读出方向依次接通，切换到列线col0，col1，col2，…的输出端，rowi中每个像素的信号依次被输入到公共放大器并被后续电路读出。公共放大器通常是一个可变增益的宽带放大器，在一定程度上可以实现增益自动控制(Automatic Gain Control，AGC)。在CMOS图像传感器上，模拟放大器后面直接连接模数转换器，向图像信号以数字信号的形式输出。

为了加速信号的读取速度，提高图像的帧率，可以采用并行读取方式，如图326所示，是一种由奇数列和偶数列两路并行输出的方式。模拟开关S1，S3，S5，…，与像素阵列的奇数列信号相连接，将信号输入到模拟放大器A1，再经模数转换器ADC1变换成奇数列数据输出V1。模拟开关S0，S2，S4，…，选择阵列的偶数列像素信号输入模拟放大器A0，然后经模数转换器ADC0变换成偶数列数据输出V0。



图326两组并行列读出电路结构示意图


两组并列读出结构是早期CMOS图像传感器使用的最简单的读出电路，现在发展了更多组并行读出的电路结构，例如6组并列的读出方式。

4．  单独像素寻址

CMOS图像传感器像素阵列由行列选通信号控制读出，因此，电路结构上具有直接对阵列中某个像素直接读取信号的能力，这种操作过程称为“单独像素寻址”(IPA)。具有单独像素定址能力的CMOS图像传感器可以灵活地读出像素阵列中的图像，例如窗口曝光读出、间隔跳跃曝光读出和选址像素曝光读出等。

窗口曝光读出方式是选择阵列中若干相邻的行像素执行曝光操作，完成曝光的行在执行选择输出的时间间隔Trow中，选择这一行中若干相邻的列执行读出操作，形成曝光窗口。如图327所示，浅灰色所在的行是曝光的行，深灰色所在的列是读出的列。通过选择曝光起始行和结束行的地址，以及选择读出起始列和结束列的地址，可以改变窗口曝光读出的窗口大小和在像素阵列平面上的位置。改变选择曝光读出窗口的大小，可以实现图像的电子变焦(Zoom)操作； 改变曝光窗口的位置，可以实现图像的电子平移(Pan)操作。



图327窗口曝光读出方式


间隔曝光读出方式是等间距跳跃选择若干行，对稀疏选择的行像素执行曝光操作，完成这些行像素曝光后，再以等间距跳跃选择若干列，对所选择的列执行读出操作。如图328所示，白色所在的行是不曝光行，浅灰色所在的行是曝光的行，深灰色所在的列是读出的列。用这种方式曝光读出的图像信息，相当于降低了画面的空间采样率，输出的信号可以重建一个低分辨率的图像。当然，也可以只对阵列中某一行像素执行曝光，然后只对某一列读出，这样就实现阵列上单个像素的选址曝光读出，即单独像素寻址。



图328间隔跳跃曝光读出方式


虽然这些曝光读出方式与全帧方式相比都降低了图像的信息量，但因为只获取必要的像素信息舍弃不必要的信息，所以都提高了获取必要信息的速度。这些功能在某些特殊应用场合是非常有用的。譬如在军事和科研领域，经常会要求快速捕捉图像目标特征，然后再进行细节解析的应用，阵列的选择曝光读出方式就显示出优秀的性能。这种直接在像素阵列上快速获取特定信息的方法，相比另一种方法： 获取一帧全像素高清晰度图像，然后在复杂的数字信号处理设备和程序中提取特征，前者的获取处理速度是后者无法比拟的。

5． 读出电路

读出电路对于传感器的性能有着重要的影响，因此对于不同的应用场合，读出电路可以选用不同的类型。对读出电路的主要要求包括低功耗、高分辨、线性度好、稳定的零偏、低噪声、高注入效率、小像素尺寸和良好的动态范围。完全满足上述要求的电路是最理想的电路，尽可能地满足上述要求也是CMOS图像传感器电路设计的努力方向，为此发展出多种电路结构。APS读出电路结构满足稳定的零偏和良好的动态范围的要求，不满足线性度好和小像素尺寸的要求； PPS电路结构满足小像素尺寸的要求，不满足线性度好、稳定的零偏、高注入效率和良好的动态范围的要求。共享缓冲直接注入(SBDI)电路结构结合了上述两种电路的优点，具有低FPN、高帧率、良好线性度、大动态范围、高信噪比、超高灵敏度和红外探测能力。也有一些特定的读出电路用于超高灵敏的场合，如焦平面成像、X射线成像、放射传输医学成像、低光照成像等。

3．3．2特性参数
1．  传感器尺寸
传感器尺寸是指传感器感光面的大小，一般情况下以对角线尺寸作为面阵CCD的靶面尺寸。目前，比较常见的CCD尺寸，是使用“1/X英寸”的标注方法。CCD尺寸标注方式是使用过去的摄像机真空摄像管的对角线长短来衡量的，标准术语是“OPTICAL FORMAT”(OF，光学格式)，其单位为英寸。

CCD的OF的粗略计算方法为，OF=对角线长度(mm)/16。CCD的靶面尺寸的“英寸”(inch)与mm之间的对照关系见表31。



表31CCD靶面尺寸对照




尺寸/inch对角线/mm长/mm宽/mm


1/72．28571．82861．3714

1/62．66672．13331．6000

1/53．20002．56001．9200

1/44．00003．20002．4000

1/3．54．57143．65712．7429

1/3．25．00004．00003．0000

1/35．33334．26673．2000

1/2．75．92594．74073．5556

1/2．56．40005．12003．8400

1/28．00006．40004．8000

1/1．88．88897．11115．3333

1/1．610．00008．00006．0000

2/310．66678．53336．4000

3/412．00009．60007．2000

4/512．800010．24007．6800

5/613．333310．66678．0000

1/116．000012．80009．6000

1．2/119．200015．360011．5200

1．5/124．000019．200014．4000

1．8/128．800023．040017．2800

2/132．000025．600019．2000

2．5/140．000032．000024．0000

3/148．000038．400028．8000

3．5/156．000044．800033．6000

4/164．000051．200038．4000

4．5/172．000057．600043．2000

5/180．000064．000048．0000

5．5/188．000070．400052．8000


2．  填充因子

填充因子是指像素的有效感光面积与像素面积之比，它是衡量像素的光照利用效率的参数，填充因子在一定程度上决定了CMOS图像传感器的动态响应特性。

如图329所示，CMOS图像传感器的像素以阵列形式布置，相邻像素之间的间距为p，像素面积为Ap。由于像素阵列的电路布置的原因，照射到像素的光束不能全部到达像素中的光电二极，设像素的有效感光面积为Aa感光。图中的白色矩形区域即为像素的感光区域，感光区域周围是不会感光的死区(如图阴影区域)。



图329像素填充因子示意图


因此像素的填充为
FF=AaAp(338)
3． 像素总数和有效像素数

像素总数是指所有像素的总和，也称为“像素规模”，它是衡量CMOS图像传感器的主要技术指标之一。CMOS图像传感器的总像素中被用来有效光电转换并输出图像信号的像素为有效像素。显而易见，有效像素总数隶属于像素总数集合。有效像素数目直接决定了CMOS图像传感器的分辨能力。

对于面阵CMOS图像传感器，通常用有效像素的列数×行数来表示像素规模，例如，1280×1024，表示有1280列像素、1024行像素。也可以用像素的总数量表述，例如，1280×1024规模图像传感器，可以称为130万像素。

对于线阵CMOS图像传感器，通常用有效像素的总数量表述。

4. 动态范围

动态范围是指图像传感器最大可测光照度与最小可测光照度之间的比值，也可以定义为像素达到饱和容量时的电子数与无光照条件下的像素噪声电子数的比值，用DR表示，单位为分贝(dB)，它是由CMOS图像传感器的信号处理能力和噪声决定的： 
DR=20logNsatNdark(339)
用图像传感器记录图像，图像的细节、层次、特征与动态范围相关，它决定了图像的最暗的阴影部分到最亮的高光部分的光照度分布范围。

5． 灵敏度

图像传感器对入射光功率的响应能力称为响应度。对于CMOS图像传感器来说，通常采用电流灵敏度来反映响应能力，电流灵敏度是单位光功率所产生的信号电流。

灵敏度主要由两方面因素决定： 一是被光电二极管收集的光生载流子数量，即光电二极管的量子效率(QE)与填充因子的乘积。其值越高，表明在相同入射光条件下，能够收集到的光生载流子越多。二是转换增益，即每个收集到的光生载流子被转换为多少信号电压。转换增益的大小由转换节点的电容大小决定，转换电容越小，转换增益越大。

6． 分辨率

分辨率是指CMOS图像传感器对景物中明暗细节的分辨能力。其通常用调制传递函数(MTF)来表示，也可以用空间频率(lp/mm)来表示。

有些应用场合下，分辨率直接用像素规模表述。

7． 光电响应不均匀性

CMOS图像传感器是离散采样型成像器件，光电响应不均匀性定义为CMOS图像传感器在标准的均匀照明条件下，各个像素的固定噪声电压峰峰值与信号电压的比值。

8． 光谱响应特性

CMOS图像传感器的信号电压Vs和信号电流Is是入射光波长λ的函数。光谱响应特性是指CMOS图像传感器的响应能力随波长的变化关系，它决定了CMOS图像传感器的光谱范围。

9． 寄生光灵敏度

寄生光灵敏度(PLS)是全局快门CMOS图像传感器的特有参数。对于全局曝光CMOS图像传感器，阵列中的所有像素同时开始和停止曝光，曝光收集的光生信号电荷储存在如上所述的电荷域或电压域存储节点之中。

对于一定阵列规模的CMOS图像传感器（CIS），全部像素的读出需要一定的时间，面阵规模越大，读出的时间也就越长，因此第一个像素的读出和最后一个像素的读出就存在时间差。在这段时间差内，由于存在MOS管的漏电以及存储节点受寄生光的干扰(光照产生的光生信号被吸引至存储节点)等情况，会对存储节点的信号造成影响。寄生光灵敏度可以定量描述以上因素给图像传感器性能参数所带来的影响。

10．  帧率

图像传感器在单位时间内所记录的图像的数量，称为“帧率”，单位是Hz或者fps。帧率表示CMOS图像传感器的像素阵列的全部数据为一“帧”，一帧图像被完全读出需要一定的时间、处理图像也需要一定的时间、图像传输也需要一定的时间，因此，每秒能够更新的图像帧数是有限的，帧率表示了传感器的数据输出的综合能力。

帧率一般是针对视频图像而言的，按照人眼生理特性，视频图像的帧率达到46Hz才能满足人眼上述频率的要求。

3．4CMOS传感器的应用

接触式图像传感器是一种特殊的CMOS图像传感器，它将光学器件与图像传感器相结合，形成可直接成像的传感器件。其中的光学器件采用柱状透镜阵列，与图像传感器的像素相对应，从而大大缩小了光电成像系统的尺寸，使得器件在结构上紧凑、轻巧。随着市场的需求和技术的发展，不同的CIS集成了不同的组件，如LED光源、信号放大器等。

本节结合纸币的图像化自动识别的应用场合，介绍CMOS图像传感器的应用问题，读者可以通过CIS在纸币的高速识别系统的应用，进一步理解CMOS图像传感器的相关知识，启发对这类传感器的应用的思维。

3．4．1纸币的图像采集
1．  纸币鉴别的基本概念
纸币是当今世界各国普遍使用的货币形式，即使是在电子商务蓬勃发展的今天，现金流通依然是商品交换和金融贸易不可缺少的手段。同时，由于假币的制造技术水平也越来越高，针对性很强的假币严重干扰货币正常流通。纸币清分与鉴别是银行的一项重要业务，即对不同面额和朝向的纸币进行清理分选归类工作，并实现纸币的点钞、计数、识别真假等。用人工来完成这一过程必将出现很多差错，并且效率极其低下，纸币的自动识别也因此应运而生。例如，我国在2010年颁布施行GB 16999—2010《人民币鉴别仪通用技术条件》，2018年发布施行JR/T 0514—2017《人民币现金机具鉴别能力技术规范》，将人民币纸币机读识别防伪特征作为强制标准，规定自动识别的特征类型(如纸币尺寸、可见光反射图文、可见光透视图文、红外反射图文、红外透射图文、荧光图文、磁性图文、安全线磁性特征、印刷光变图文、安全线光学特征、光谱吸收特征、透明视窗特征、水印特征、冠字号码、厚度特征等)。为此，新技术也随之应用于纸币识别防伪的需求，如图像特征分析技术、荧光特征识别技术、红外特征识别技术等基于图像识别的技术，形成了多特征自动识别系统。

2． CIS图像采集

如图330所示，动态鉴别仪(如点钞机或清分机)中，堆叠的纸币通过进钞系统逐张进入传输通道，通道内分布有多种传感器，其中包括CIS。纸币在机械转动与控制系统的作用下匀速经过CIS图像采集平面，获得纸币的图像。接触式图像传感器仅需要2cm细槽即可嵌入鉴别仪传输通道，另外技术门槛、成本、纸币成像质量等优势，使其占据几乎所有动态鉴别仪市场。



图330动态鉴别仪示意图



系统的硬件部分包括图像采集部分、图像处理部分、时序控制部分，如图331所示。图像采集部分完成纸币的图像采集和模/数（A/D）转换。纸币从入钞口进入，并受电动机转动的机械控制通过采集区实现图像的采集，采集到的图像由A/D转换成数字信号。图像处理部分接收采集系统采集到的图像，进行一系列的图像处理，实现清分、鉴伪。时序控制部分主要为其他芯片提供同步，控制等信号，并为图像数据提供缓存，确保系统正常工作。



图331系统功能模块框架图


图像处理部分的核心是TMS320DM6437，主频594MHz，1MB的二级缓存，并配备了256MB的DDR2内存芯片，有丰富的外部接口，包括支持高速视频输入的VPFE，10/100Mb/s以太网MAC。时序控制部分，负责为CIS和AD芯片提供可靠的控制信号，以控制其何时采集图像并进行A/D转换，A/D之后的数据信息经过FPGA的封装并加上同步信号后传送给DSP。

采集部分由CIS、A/D芯片构成，系统有两片CIS，分别采集红外和白光情况下共四幅图像，通过A/D转换后传给图像处理单元。

如图332所示，CIS是由一排与扫描原稿宽度相同的光电传感阵列、LED光源阵列和柱状透镜阵列等部件组成一种新型图像传感器。这些部件全部集成在一个条状方形盒内，不需要另外的光学附件，不存在调整光路和景深等问题，具有结构简单、体积小、应用方便等优点。



图332CIS结构示意图


如图333所示，光源发出的光线透过玻璃达到被扫描的物体(如文件、图像等)上，随着被扫描物体的明暗程度的不同，光线被部分或全部反射到柱状透镜上，光线经透镜聚焦后，照射到感光电路板成像阵列上，成像阵列由若干个光敏元件组成，明暗程度不同的光信号由光敏元件转变成电压幅值大小不同的电信号，然后通过移位寄存器将信号送至运算放大器，信号经放大后传送到连接器，用户通过连接器可得到经光电转换后的图文信号。



图333纸币扫描成像示意图


3．4．2纸币的高速识别



图334扫描获得的纸币图像的局部特征


在时序的控制下，CIS图像采集系统分时采集正面白光反射、反面白光反射、白光透射、红外透射、正面紫外反射、反面紫外反射6幅图像，采集与光源交替发光由现场可编程门阵列(FPGA)控制采集时序，完成采集过程。最后根据时序将6幅图像分开，如图334所示。


系统以1000张/min的速度完成图像采集与识别，图像的识别包括图像预处理(包括亮度补偿、纸币边缘检测、倾斜矫正、特征区定位等)、多光谱特征识别(白光、红外、紫外特征的识别)、冠字符号识别等。

仅以冠字符号识别为例。



图335冠字符号

纸币的冠字符号区域如图335所示，区域定位后，提取冠字符号，并做方向校正。使用一个二重循环，进行坐标逆映射，即利用旋转公式计算校正后图像中每个坐标点在原图像中对应的坐标点，并用双线性插值将非整数坐标网格化，获得精度可保证的方向校正图像。

字符的结构特征包括竖线特征、横线特征、穿线特征、开口特征等。每个特征都可以把一部分字符区分开来，比如右竖线可以把C和D区分开来，下横线可以把E和F区分开来，左下开口可以将8和9区分开来，根据这些区分能力，可以建立一棵判决树，从根节点开始，逐渐到叶节点，就得到了判断结果。为了建立这个判决树，必须使用稳定的结构特征，同时一个字符可能出现在不同的节点中。本节不对其进行详细讨论。

冠字符号识别涉及机器视觉和人工智能算法，已超出本书关注的范畴，不再介绍。积分投影非常适合纸币中与背景差异明显的特征的定位，比如冠字符号定位。

采用积分投影算法将图像中的像素点按照特定的方向进行灰度累加，获得水平投影和垂直投影函数，再按照一定的扫描方向，将冠字符号的每一个字符的坐标位置精确地计算出来。

接下来对图像做二值化处理，采用全局阈值法与局部阈值法相结合的方法，并由邻域计算模板实现考察点灰度与邻域点的比较，在图像量化噪声或不均匀光照等情况下，可以将每一个字符准确地勾勒出来。