近日，香港理工大学一课题组制备了一种基于背靠背的光电二极管阵列，具有感算融合功能的光谱适应性视觉传感器。传感器的波长响应可以通过施加不同的偏置电压来调整，以匹配可见光或者近红外光。研究成果以「Bioinspired in-sensor spectral adaption for perceiving spectrally distinctive features」为题发表在Nature Electronics上。
自然光光谱跨越广泛的波长范围。不同光谱所携带的视觉信息随着环境因素的动态变化而变化，这些环境因素包括光照的光谱分布、介质的光谱透过率、和物体的反射光谱。然而，当前最先进的互补金属氧化物半导体（CMOS）和电荷耦合器件（CCD）图像传感器具有固定的波长响应范围，并且在具有挑战性的照明条件下（如色偏照明、背景眩光干扰和强衰减效应），缺乏对其他光谱带成像的适应性。图像传感器的光谱响应与周围环境光谱之间的这种不匹配导致基于传统CMOS/CCD的机器视觉系统的成像质量低下，从而无法有效提取视觉特征。
成像后的算法（如颜色校正、噪声消除和干扰抑制）可用于从低质量图像中恢复视觉信息，但这些算法需要额外的功耗。最近报道的光强度适应方法提供了一种在高动态范围光照下捕获图像的解决方案。通过使视觉传感器适应动态的环境光谱，机器视觉可以准确感知与特定光谱特征相关的视觉信息，这可以用于各种应用，包括自动驾驶汽车、医疗诊断、工业生产、和监控系统。
在自然界中，生物已经进化出了适应性视觉机制，这些机制不仅限于光强度的适应，还能更精确地感知波长信息。某些两栖和迁徙性物种，如太平洋鲑鱼（Oncorhynchus keta），已经发展出了光谱适应性视觉，以适应具有不同光谱条件的环境。这种光谱适应功能源于两种感光视觉色素——基于维生素A₁的视觉色素（VP₁）和基于维生素A2的视觉色素（VP₂ ），并且它们之间的比例是可调节的。VP₁和VP₂ 分别对较短波长和较长波长更为敏感。通过酶机制将维生素A₁转化为维生素A₂ ，视网膜可以动态地改变其光谱敏感性，以匹配周围环境的光谱。受到太平洋鲑鱼视觉统启发，研究设计了可切换的背对背的光电二极管，工作时可通过改变偏置电压在表面浅结和底部深结之间切换，浅结和深结具有不同的敏感波长，可以根据需要调整以匹配可见光或近红外光。
光谱适应过程仅需数十微秒，这与先进的高速摄像机的帧率（大约100 kHz）相当。光谱适应使得场景的韦伯对比度提高了10倍以上，从而在强烈的可见光眩光下提高了特征识别的准确性（从33%提高到90%）。
图1|太平洋鲑鱼视觉系统中的光谱适应行为
太平洋鲑鱼拥有光谱适应性视觉系统，使它们能够在光谱多变的环境中生存，从内陆溪流到开阔海域（图1a）。在浑浊的内陆溪流中，由于短波长的优先吸收和散射，水下光的光谱分布（图1b(i)中的橙色曲线）会向长波长偏移。太平洋鲑鱼可以调整其视觉系统的光谱灵敏度曲线（图1b(i)中的红色曲线），以适应红光偏移的水生环境。在清澈的开阔海域中，光的光谱分布（图1c(i)中的绿色曲线）具有较高的强度和相对蓝光偏移的光谱分布。太平洋鲑鱼的视觉系统反向调整其光谱灵敏度曲线（图1c(i)中的蓝色曲线），以适应环境中蓝光偏移的光谱分布。红移和蓝移的适应性可以增加感知的特征的对比度，使得太平洋鲑鱼在光谱特性显著不同的环境中能够清晰地看到周围环境（图1b(ii)和c(ii)）。这种适应性使得鲑鱼无论是在浑浊的溪流还是清澈的开阔海域中都能保持高效的视觉感知能力。
图2|偏压依赖的传感器内光谱适应性
设计的器件具有ITO/n-TiO₂ /p-Sb₂ Se₃ /n-Si/Ag的堆叠结构（图2a）。在较短（较长）波长的光照下，电子-空穴对在光吸收材料的较浅（较深）区域内产生（如图2b所示）。
当在ITO电极上施加正电压时，浅层的TiO₂/Sb₂Se₃结处于反向偏置状态，而深层的Sb₂Se₃/Si结则处于正向偏置状态（如图2c）。此时器件对短波长光更为敏感（可见光谱适应性）。当在ITO电极上施加负电压时，浅层的TiO₂/Sb₂Se₃结处于正向偏置状态，而深层的Sb₂Se₃/Si结则处于反向偏置状态（如图2d）。此时器件在近红外（NIR）区域具有较窄的光谱响应范围（NIR光谱适应性）。
该器件的光响应表现出波长和偏压依赖行为。短波长光照（375 nm、450 nm、520 nm、660 nm）时，该器件在正电压下显示出显著的光电流（图2e）。在980 nm光照下，该器件在负电压下显示出显著的光电流，光电流与暗电流之比为1.8 × 10³；然而，在正偏压下，光电流明显较小。图2f展示了器件的外量子效率（EQE）随偏置电压的变化。当偏置电压从+2 V变化到−2 V时，器件的光谱响应从短波长光转变为长波长光。光谱响应的这种转变可以模拟太平洋鲑鱼在清澈海域和浑浊溪流之间迁移时的光谱适应过程。施加到器件上的偏置电压的作用类似于生物视觉系统中P450酶的作用。
图3|动态的传感器内光谱适应特性
自动驾驶汽车或交通监控系统的机器视觉系统需要在极短的时间内识别目标。在这种需要实时响应快速变化环境的高风险场景中，即使是最微小的延迟或误判也可能导致严重后果，这迫切要求在传感终端对数据密集的视觉信息进行高速且高度准确的处理。因此，这要求视觉传感器能够在可见光和近红外光谱之间迅速适应。图3a显示了该器件在520和980 nm光刺激下的光响应性（R）随偏置电压的变化情况。因此，R980/R520这个高的光谱抑制比是非常理想的。在-2V时，R980/R520达到约10⁴，这证明了该器件在近红外区域工作时可以几乎不受可见光的干扰。图3b表明Iph-P曲线具有良好的线性度。这种线性响应特性有助于视觉传感器可靠地重建视觉特征。在520 nm和980nm光刺激波长下的动态范围超过80 dB。图3c展示了器件在循环照射下的光电流，表明器件具有出色的重复性。图3d展示了器件对520 nm光的响应时间和恢复时间分别为100微秒和90微秒，对980 nm的响应时间和恢复时间分别为60微秒和42微秒。图3e展示了在恒定520、980或520 + 980 nm光照条件下，当偏置电压在2 V和-2 V之间周期性切换时的I-t曲线。该器件可以在可见光和近红外光之间快速适应，即使在100 kHz的频率下，电流也几乎没有衰减，这证明了该器件可以快速适应波长为520 nm和980 nm的光照条件。
作者随后用一个8×8视觉传感器阵列（图3g,i）进行了双向光谱适应测试，以模拟光谱适应行为。用了一个幅度为±2 V，频率为1 kHz的方波（Vdrive）来驱动器件。为了展示近红外光谱适应，用近红外光和可见光模拟器件受 「5」字图案照射。同时，另一个可见光图案（图3g中较暗的绿色「之」字形）被投射到阵列上，以模拟环境中的干扰（图3h）。图3h可见阵列的输出图像开始无法正确捕获数字「5」的图案，而是呈现出一个类似「6」的图案（图3h(i)）。随着Vdrive从+2 V翻转到-2 V，阵列切换到窄带近红外响应。输出图像正确地表示了「5」的图案（图3h(ii)-(iv)）。通过向传感器阵列投射由可见光构建的「9」字图案和带有近红外光照射的均匀背景来进行可见光谱适应测试（图3i）。最初，具有窄带近红外响应的阵列无法感知到「9」字图案（图3j(i)）。随着Vdrive从-2 V切换到+2 V，传感器阵列从窄带近红外响应切换到宽带响应。随后，「9」的图案在成像结果中迅速出现，如图3j(ii)-(iv)所示。
图4|光谱适应性视觉传感器用于成像和分类光谱特征
在复杂的光照环境中准确捕获和识别光谱上独特的特征对于传统图像传感器来说是一个挑战。图4a展示了一个特定场景的情况。自动驾驶汽车的机器视觉系统需要识别暴露于背景眩光中物体（Type-I特征，图4a(i)）。可见光眩光导致背景亮度高，降低了目标物体的对比度。为了减轻可见光眩光的干扰并获得清晰的图像，此时可以采用近红外区域的窄带光谱响应。在另一种情况下，机器视觉系统需要识别带有白色数字和红色背景的交通标志上的信息（Type-II型特征，图4a(ii)）。由于颜色是多个波长可见光刺激组合的视觉感知，覆盖可见光谱的宽带响应是准确捕获由颜色差异表示的特征的先决条件。传统图像传感器的光谱响应是固定的，这使得在处理Type-I和Type-II特征时难以保持一致的性能。光谱适应型视觉传感器在宽带视觉和窄带近红外视觉中捕获特征，并将双通道成像的结果输出给预训练的神经网络以识别这些特征（图4b）。
图4b(i)展示了视觉传感器对暴露在背景眩光中的行人（Type-I特征）的响应。由于背景眩光的干扰，行人在宽带视觉中的清晰度降低。而窄带近红外视觉通过有效过滤眩光，提供了行人的清晰轮廓。因此，光谱适应型传感器对Type-I型特征实现了90%的识别准确率。这种传感器内的光谱适应功能实现了抗眩光功能，无需采用光学附件或复杂的算法资源。相比之下，仅基于传统宽带传感器的视觉系统在识别受干扰的物体特征时表现不佳，识别准确率仅为33%。图4b(ii)展示了视觉传感器对红色背景上的白色「7」字图案的响应，这类似于典型的Type-II型特征。虽然窄带近红外视觉对于数字并没有产生明显的对比度，但宽带可见光视觉可以产生清晰的「7」字图案。图4c总结了同时分类两种光谱独特特征中所有10个类别的准确率。光谱适应型视觉传感器能够捕获两种光谱中的独特特征，实现了90%的识别准确率。相比之下，传统的视觉传感器，无论是宽带还是窄带近红外，Type-I型特征或Type-II型特征上表现不佳，因此分别获得了较低的识别准确率，分别为60%和57%。
本文报告了一种基于背对背光电二极管的视觉传感器阵列，其结构为ITO/TiO₂ /Sb₂ Se₃ /Si/Ag，能够模拟迁徙鱼类视网膜的光谱适应功能。该视觉传感器包括一个表面TiO₂ /Sb₂ Se₃ 浅结，用于在可见光谱范围内实现广泛的光谱响应，以及一个底部Sb₂ Se₃ /Si深结，用于在NIR光谱范围内实现窄带光谱响应。通过改变施加在器件上的偏置电压，可以在浅结和深结之间切换。因此，中心光响应可以在可见光和近红外光谱之间切换，实现传感器内的光谱适应。光谱适应可以通过调整光谱响应来匹配感兴趣特征的主要波长，从而提高捕获图像的韦伯对比度，从而在具有挑战性的光照条件下促进光谱独特特征的识别。我们的感算融合光谱适应方法可以在不消耗额外计算资源的情况下提高机器视觉的可靠性。
前排左起：曾光，陈泓烨，晏建民
后排左起：王佳良，柴扬教授，欧阳帮森，王照清，邵邦杰
香港理工大学欧阳帮森、王佳良为本文共同第一作者，香港理工大学应用物理系柴扬教授为本文通讯作者，通讯单位为香港理工大学。
欧阳帮森在中国科学院大学微电子学与固体电子学专业获得博士学位。目前在香港理工大学从事博士后研究工作，主要致力于半导体光电器件，感算融合的视觉传感器方面的研究。在Nature Electronics, Nano Energy, Advanced Functional Materials, iScience等国际SCI杂志上发表学术论文十余篇，参与撰写出版英文专著1部。
王佳良，香港理工大学博士研究生。目前的研究方向为光电器件在高维信息探测中的应用。
柴扬教授是香港理工大学应用物理系教授，香港理工大学理学院副院长，香港物理学会副主席，香港青年科学院院士。
原文链接：
https://doi.org/10.1038/s41928-024-01208-x
来源：研之成理，爱科会易仅用于学术交流
近日，香港理工大学一课题组制备了一种基于背靠背的光电二极管阵列，具有感算融合功能的光谱适应性视觉传感器。传感器的波长响应可以通过施加不同的偏置电压来调整，以匹配可见光或者近红外光。研究成果以「Bioinspired in-sensor spectral adaption for perceiving spectrally distinctive features」为题发表在Nature Electronics上。
自然光光谱跨越广泛的波长范围。不同光谱所携带的视觉信息随着环境因素的动态变化而变化，这些环境因素包括光照的光谱分布、介质的光谱透过率、和物体的反射光谱。然而，当前最先进的互补金属氧化物半导体（CMOS）和电荷耦合器件（CCD）图像传感器具有固定的波长响应范围，并且在具有挑战性的照明条件下（如色偏照明、背景眩光干扰和强衰减效应），缺乏对其他光谱带成像的适应性。图像传感器的光谱响应与周围环境光谱之间的这种不匹配导致基于传统CMOS/CCD的机器视觉系统的成像质量低下，从而无法有效提取视觉特征。
成像后的算法（如颜色校正、噪声消除和干扰抑制）可用于从低质量图像中恢复视觉信息，但这些算法需要额外的功耗。最近报道的光强度适应方法提供了一种在高动态范围光照下捕获图像的解决方案。通过使视觉传感器适应动态的环境光谱，机器视觉可以准确感知与特定光谱特征相关的视觉信息，这可以用于各种应用，包括自动驾驶汽车、医疗诊断、工业生产、和监控系统。
在自然界中，生物已经进化出了适应性视觉机制，这些机制不仅限于光强度的适应，还能更精确地感知波长信息。某些两栖和迁徙性物种，如太平洋鲑鱼（Oncorhynchus keta），已经发展出了光谱适应性视觉，以适应具有不同光谱条件的环境。这种光谱适应功能源于两种感光视觉色素——基于维生素A₁的视觉色素（VP₁）和基于维生素A2的视觉色素（VP₂ ），并且它们之间的比例是可调节的。VP₁和VP₂ 分别对较短波长和较长波长更为敏感。通过酶机制将维生素A₁转化为维生素A₂ ，视网膜可以动态地改变其光谱敏感性，以匹配周围环境的光谱。受到太平洋鲑鱼视觉统启发，研究设计了可切换的背对背的光电二极管，工作时可通过改变偏置电压在表面浅结和底部深结之间切换，浅结和深结具有不同的敏感波长，可以根据需要调整以匹配可见光或近红外光。
光谱适应过程仅需数十微秒，这与先进的高速摄像机的帧率（大约100 kHz）相当。光谱适应使得场景的韦伯对比度提高了10倍以上，从而在强烈的可见光眩光下提高了特征识别的准确性（从33%提高到90%）。
图1|太平洋鲑鱼视觉系统中的光谱适应行为
太平洋鲑鱼拥有光谱适应性视觉系统，使它们能够在光谱多变的环境中生存，从内陆溪流到开阔海域（图1a）。在浑浊的内陆溪流中，由于短波长的优先吸收和散射，水下光的光谱分布（图1b(i)中的橙色曲线）会向长波长偏移。太平洋鲑鱼可以调整其视觉系统的光谱灵敏度曲线（图1b(i)中的红色曲线），以适应红光偏移的水生环境。在清澈的开阔海域中，光的光谱分布（图1c(i)中的绿色曲线）具有较高的强度和相对蓝光偏移的光谱分布。太平洋鲑鱼的视觉系统反向调整其光谱灵敏度曲线（图1c(i)中的蓝色曲线），以适应环境中蓝光偏移的光谱分布。红移和蓝移的适应性可以增加感知的特征的对比度，使得太平洋鲑鱼在光谱特性显著不同的环境中能够清晰地看到周围环境（图1b(ii)和c(ii)）。这种适应性使得鲑鱼无论是在浑浊的溪流还是清澈的开阔海域中都能保持高效的视觉感知能力。
图2|偏压依赖的传感器内光谱适应性
设计的器件具有ITO/n-TiO₂ /p-Sb₂ Se₃ /n-Si/Ag的堆叠结构（图2a）。在较短（较长）波长的光照下，电子-空穴对在光吸收材料的较浅（较深）区域内产生（如图2b所示）。
当在ITO电极上施加正电压时，浅层的TiO₂/Sb₂Se₃结处于反向偏置状态，而深层的Sb₂Se₃/Si结则处于正向偏置状态（如图2c）。此时器件对短波长光更为敏感（可见光谱适应性）。当在ITO电极上施加负电压时，浅层的TiO₂/Sb₂Se₃结处于正向偏置状态，而深层的Sb₂Se₃/Si结则处于反向偏置状态（如图2d）。此时器件在近红外（NIR）区域具有较窄的光谱响应范围（NIR光谱适应性）。
该器件的光响应表现出波长和偏压依赖行为。短波长光照（375 nm、450 nm、520 nm、660 nm）时，该器件在正电压下显示出显著的光电流（图2e）。在980 nm光照下，该器件在负电压下显示出显著的光电流，光电流与暗电流之比为1.8 × 10³；然而，在正偏压下，光电流明显较小。图2f展示了器件的外量子效率（EQE）随偏置电压的变化。当偏置电压从+2 V变化到−2 V时，器件的光谱响应从短波长光转变为长波长光。光谱响应的这种转变可以模拟太平洋鲑鱼在清澈海域和浑浊溪流之间迁移时的光谱适应过程。施加到器件上的偏置电压的作用类似于生物视觉系统中P450酶的作用。
图3|动态的传感器内光谱适应特性
自动驾驶汽车或交通监控系统的机器视觉系统需要在极短的时间内识别目标。在这种需要实时响应快速变化环境的高风险场景中，即使是最微小的延迟或误判也可能导致严重后果，这迫切要求在传感终端对数据密集的视觉信息进行高速且高度准确的处理。因此，这要求视觉传感器能够在可见光和近红外光谱之间迅速适应。图3a显示了该器件在520和980 nm光刺激下的光响应性（R）随偏置电压的变化情况。因此，R980/R520这个高的光谱抑制比是非常理想的。在-2V时，R980/R520达到约10⁴，这证明了该器件在近红外区域工作时可以几乎不受可见光的干扰。图3b表明Iph-P曲线具有良好的线性度。这种线性响应特性有助于视觉传感器可靠地重建视觉特征。在520 nm和980nm光刺激波长下的动态范围超过80 dB。图3c展示了器件在循环照射下的光电流，表明器件具有出色的重复性。图3d展示了器件对520 nm光的响应时间和恢复时间分别为100微秒和90微秒，对980 nm的响应时间和恢复时间分别为60微秒和42微秒。图3e展示了在恒定520、980或520 + 980 nm光照条件下，当偏置电压在2 V和-2 V之间周期性切换时的I-t曲线。该器件可以在可见光和近红外光之间快速适应，即使在100 kHz的频率下，电流也几乎没有衰减，这证明了该器件可以快速适应波长为520 nm和980 nm的光照条件。
作者随后用一个8×8视觉传感器阵列（图3g,i）进行了双向光谱适应测试，以模拟光谱适应行为。用了一个幅度为±2 V，频率为1 kHz的方波（Vdrive）来驱动器件。为了展示近红外光谱适应，用近红外光和可见光模拟器件受 「5」字图案照射。同时，另一个可见光图案（图3g中较暗的绿色「之」字形）被投射到阵列上，以模拟环境中的干扰（图3h）。图3h可见阵列的输出图像开始无法正确捕获数字「5」的图案，而是呈现出一个类似「6」的图案（图3h(i)）。随着Vdrive从+2 V翻转到-2 V，阵列切换到窄带近红外响应。输出图像正确地表示了「5」的图案（图3h(ii)-(iv)）。通过向传感器阵列投射由可见光构建的「9」字图案和带有近红外光照射的均匀背景来进行可见光谱适应测试（图3i）。最初，具有窄带近红外响应的阵列无法感知到「9」字图案（图3j(i)）。随着Vdrive从-2 V切换到+2 V，传感器阵列从窄带近红外响应切换到宽带响应。随后，「9」的图案在成像结果中迅速出现，如图3j(ii)-(iv)所示。
图4|光谱适应性视觉传感器用于成像和分类光谱特征
在复杂的光照环境中准确捕获和识别光谱上独特的特征对于传统图像传感器来说是一个挑战。图4a展示了一个特定场景的情况。自动驾驶汽车的机器视觉系统需要识别暴露于背景眩光中物体（Type-I特征，图4a(i)）。可见光眩光导致背景亮度高，降低了目标物体的对比度。为了减轻可见光眩光的干扰并获得清晰的图像，此时可以采用近红外区域的窄带光谱响应。在另一种情况下，机器视觉系统需要识别带有白色数字和红色背景的交通标志上的信息（Type-II型特征，图4a(ii)）。由于颜色是多个波长可见光刺激组合的视觉感知，覆盖可见光谱的宽带响应是准确捕获由颜色差异表示的特征的先决条件。传统图像传感器的光谱响应是固定的，这使得在处理Type-I和Type-II特征时难以保持一致的性能。光谱适应型视觉传感器在宽带视觉和窄带近红外视觉中捕获特征，并将双通道成像的结果输出给预训练的神经网络以识别这些特征（图4b）。
图4b(i)展示了视觉传感器对暴露在背景眩光中的行人（Type-I特征）的响应。由于背景眩光的干扰，行人在宽带视觉中的清晰度降低。而窄带近红外视觉通过有效过滤眩光，提供了行人的清晰轮廓。因此，光谱适应型传感器对Type-I型特征实现了90%的识别准确率。这种传感器内的光谱适应功能实现了抗眩光功能，无需采用光学附件或复杂的算法资源。相比之下，仅基于传统宽带传感器的视觉系统在识别受干扰的物体特征时表现不佳，识别准确率仅为33%。图4b(ii)展示了视觉传感器对红色背景上的白色「7」字图案的响应，这类似于典型的Type-II型特征。虽然窄带近红外视觉对于数字并没有产生明显的对比度，但宽带可见光视觉可以产生清晰的「7」字图案。图4c总结了同时分类两种光谱独特特征中所有10个类别的准确率。光谱适应型视觉传感器能够捕获两种光谱中的独特特征，实现了90%的识别准确率。相比之下，传统的视觉传感器，无论是宽带还是窄带近红外，Type-I型特征或Type-II型特征上表现不佳，因此分别获得了较低的识别准确率，分别为60%和57%。
本文报告了一种基于背对背光电二极管的视觉传感器阵列，其结构为ITO/TiO₂ /Sb₂ Se₃ /Si/Ag，能够模拟迁徙鱼类视网膜的光谱适应功能。该视觉传感器包括一个表面TiO₂ /Sb₂ Se₃ 浅结，用于在可见光谱范围内实现广泛的光谱响应，以及一个底部Sb₂ Se₃ /Si深结，用于在NIR光谱范围内实现窄带光谱响应。通过改变施加在器件上的偏置电压，可以在浅结和深结之间切换。因此，中心光响应可以在可见光和近红外光谱之间切换，实现传感器内的光谱适应。光谱适应可以通过调整光谱响应来匹配感兴趣特征的主要波长，从而提高捕获图像的韦伯对比度，从而在具有挑战性的光照条件下促进光谱独特特征的识别。我们的感算融合光谱适应方法可以在不消耗额外计算资源的情况下提高机器视觉的可靠性。
前排左起：曾光，陈泓烨，晏建民
后排左起：王佳良，柴扬教授，欧阳帮森，王照清，邵邦杰
香港理工大学欧阳帮森、王佳良为本文共同第一作者，香港理工大学应用物理系柴扬教授为本文通讯作者，通讯单位为香港理工大学。
欧阳帮森在中国科学院大学微电子学与固体电子学专业获得博士学位。目前在香港理工大学从事博士后研究工作，主要致力于半导体光电器件，感算融合的视觉传感器方面的研究。在Nature Electronics, Nano Energy, Advanced Functional Materials, iScience等国际SCI杂志上发表学术论文十余篇，参与撰写出版英文专著1部。
王佳良，香港理工大学博士研究生。目前的研究方向为光电器件在高维信息探测中的应用。
柴扬教授是香港理工大学应用物理系教授，香港理工大学理学院副院长，香港物理学会副主席，香港青年科学院院士。
原文链接：
https://doi.org/10.1038/s41928-024-01208-x
来源：研之成理，爱科会易仅用于学术交流
