Nature Communications刊发华中科技大学叶镭缪向水团队在仿生视觉硬件领域的新成果

254

2024-10-24 10:29:43

10月5日，Nature Communications在线刊发了华中科技大学集成电路学院叶镭教授、缪向水教授关于二维仿生视觉硬件的最新研究成果「Multifunctional human visual pathway-replicated hardware based on 2D materials」。缪向水教授、叶镭教授和国防科技大学江天教授为通讯作者，华中科技大学2021级博士生彭追日为第一作者。华中科技大学集成电路学院为论文第一完成单位。

人类视觉系统包括视网膜、视觉皮层及其连接的视觉通路。腹侧通路(P pathway)和背侧通路(M pathway)分别通过特定的连接方式，进行颜色、形状识别的静态信息和方向、运动判断的动态信息处理（图1）。模仿视网膜在近年来研究广泛，但缺乏考虑视觉通路的连接方式，使得复杂视觉功能的集成化充满挑战。因此，本工作从人类视觉通路的连接状态出发，开发了一种复制视觉通路的多功能硬件。

图1 | 人类视觉系统：视觉通路及其功能。

该硬件由交叉棒阵列和模仿视觉通路回路连接的相关外围电路构成。其中，10 × 10像素规模的交叉棒阵列由Al₂O₃/Pt/Al₂O₃/WSe₂分裂浮栅结构（SFG）的单元器件构成（图2），器件和阵列具有两种工作模式：i）光伏二极管模式；ii）双极晶体管模式。在光伏二极管模式下，分裂浮栅赋予二硒化钨（WSe₂）同质结可重构的正/负光电流，且响应度受到栅极电压近线性的调节，工作时无需偏压待机功耗几乎为零。该模式下的SFG阵列能够模拟视网膜的中心-周围感受野（CSRF）。在双极晶体管模式下，双栅的一端施加固定电压用于选通，另一端调节晶体管沟道电导率用于调节神经网络单元权重。该模式下的SFG阵列能模拟视觉皮层的神经网络结构，通过基尔霍夫定律执行矩阵乘和操作。浮栅编程能量仅1 pJ/spike，有望实现超低功耗。

图2 | WSe₂分裂浮栅器件交叉棒阵列与复用功能。

将SFG阵列与外围电路组装起来，视觉通路复刻硬件实现了颜色处理、形状识别和运动追踪功能（图3）。完全复制实际的颜色处理通路，在硬件电路层面解释了红绿色盲的原因。通过在双层稀疏神经网络内进行有效的形状分类，形状识别功能被验证，并展示了神经回路兼容的稀疏性和>95%的识别率。相比全连接网络，器件使用量减少61.1%且每次操作仅需0.9 nJ的编程能耗。基于Barlow–Levick模型，模仿突触信号传输时延相关的方向判断机制，硬件搭配延时电路和双向移位寄存器实现运动追踪功能。该研究为仿生视觉硬件提供了新的思路，有望助力开发更适应神经结构的脑机接口设备，帮助盲人或色盲患者恢复正常视力，并推动无人驾驶技术和智能机器人领域的进步。