近日,我校华南先进光电子研究院樊贞课题组的最新研究成果以“In-sensor image memorization, low-level processing, and high-level computing by using above-bandgap photovoltages”为题,发表在《Nature Communications》。
感内计算(in-sensor computing)是一种将感知、存储与计算功能集成于传感器端的新型信息处理范式。该技术直接在传感器内完成数据采集、存储与处理,可显著减少数据在不同功能单元之间的频繁搬运,从而大幅降低系统功耗并提升处理速度。因此,感内计算被认为是实现超高速、低功耗机器视觉系统的关键技术之一,在智能监控、自动驾驶和边缘计算等领域展现出广阔的应用前景。
目前,研究人员已开发出多种感内计算系统,但这些系统通常功能较为单一,或仅支持图像记忆和低级处理(如降噪、对比度增强等),或只能完成高级计算(如图像识别、分类等)。面对机器视觉应用中日益多样化的任务需求,亟需开发一种集图像记忆、低级处理和高级计算功能于一体的通用型感内计算系统。然而,实现这些功能的融合存在显著挑战:一方面,图像记忆和低级处理功能通常要求传感器具有动态光响应(即在开关光过程中呈现电输出的渐变响应),这使得光响应度受光照历史影响;而另一方面,用于高级计算的可编程光响应度又需与光照历史无关,或在清除光照历史后能迅速恢复。

针对上述需求与挑战,樊贞课题组开发了一种基于体光伏(BPV)效应的铁电光伏传感器(FE-PS),其表现出超带隙光电压、动态光响应以及可编程且可快速恢复的光响应度,并在FE-PS阵列中实现了图像记忆、低级处理与高级计算的一体化功能验证。该器件的工作机制颇具特色:通过BPV效应对自身以及外接电容进行充电,而读取光电压作为输出信号。其充放电动力学特性导致了类突触的渐变光电压响应,进而赋予了阵列图像记忆与视觉自适应等预处理能力。
此外,器件还表现出高达~30 V的多级可编程光电压,并可通过简单短接操作快速恢复写入的光电压状态。利用光电压定义的光响应度映射权重,阵列能够执行感内人工神经网络(ANN)计算,并在噪声水平不高于 10%的四分类图像识别任务中取得了 100% 的准确率。值得注意的是,BPV效应产生的超高光电压,保证了基于光电压的图像记忆和处理的高精度和高可靠性,这是相较于其它类型光电传感器的一个显著优势。该研究为感内计算的功能集成提供了新的物理机制与器件设计思路,为开发适用于各种机器视觉场景的通用型感内计算系统奠定了重要基础。
我校为第一完成单位,我校硕士生刘坤、谭山为论文共同第一作者,樊贞研究员为论文通讯作者。此外,我校陶瑞强副研究员、田国副研究员、陆旭兵教授、周国富教授和高兴森教授,以及南京大学刘俊明教授为该研究做出重要贡献。该研究受到国家自然科学基金、广东省自然科学基金、广州市重点实验室“智能光电材料与类脑器件重点实验室”等资助。
论文链接:
https://www.nature.com/articles/s41467-025-67103-x