我校华南先进先进光电子研究院樊贞课题组

在《Nature Communications》发表研究成果

 

近日，我校华南先进光电子研究院樊贞课题组在《Nature Communications》发表题为“In situ training of an in-sensor artificial neural network based on ferroelectric photosensors”的研究成果(https://www.nature.com/articles/s41467-024-55508-z)。

传统机器视觉系统普遍采用冯诺依曼架构，其中图像传感、存储和处理单元物理分离。这种分离设计使得数据需要频繁搬运，导致显著的时间延迟和能量消耗，难以满足自动驾驶等应用场景中的实时图像处理需求。为克服传统系统的局限，感存算一体智能视觉系统被提出并受到广泛研究。它能将图像处理功能直接嵌入传感器中，避免数据往复搬运，大幅降低系统延时与能耗。目前感存算一体智能视觉系统大多采用了离线训练，即先在软件上训练好网络权重再植入硬件，这限制了训练效率与灵活性。相比之下，在线训练直接在硬件上更新权重，既快又节能，而且能更好地适应动态环境，并允许个性化的模型训练（比如自动驾驶用户能随时根据自身驾驶习惯来训练模型）。然而，这类系统的在线训练仍面临挑战，一方面需要高性能器件，另一方面需要合适的权重更新策略进行协同。

樊贞课题组前期提出一种利用极化调控光响应度的铁电光伏传感器Pt/Pb(Zr_0.2Ti_0.8)O₃/SRO(https://www.nature.com/articles/s41467-022-29364-8)，本工作则进一步展示其性能优越性，包括高写入速度(100 ns)、高耐久性(10^9)和长保持时间(50 days)等。还开发了一种双向闭环权重更新方法，在权重精度和更新速度两方面取得较好的均衡。利用该方法对感存算一体铁电光伏传感器网络进行在线训练，实现了收敛。进一步将传感器网络集成至智能小车模型上，传感器网络负责实时感知与识别指示图案，识别结果直接输出至电机以控制小车运动，最终实现小车“看到”图案的同时做出相应的动作。整个感知+识别过程的速度比冯诺依曼系统快50倍。

我校为论文第一完成单位，我校硕士生林海鹏、区家力为论文共同第一作者，我校樊贞研究员与河北大学闫小兵教授为论文通讯作者。此外，我校陆旭兵教授、周国富教授和高兴森教授，以及南京大学刘俊明教授为该研究做出重要指导。该研究受到国家自然科学基金、广东省自然科学基金、广州市 “智能光电材料与类脑器件重点实验室”等资助。

论文链接：https://www.nature.com/articles/s41467-024-55508-z。

 

拟稿人：樊贞

初审：樊贞

复审：秦明辉

终审：沈强旺