传统的计算机和传感系统中传感、存储、计算模块相互分离，这种硬件分离的架构模式使得大量数据在各硬件模块之间相互传输，造成了严重的时间延迟、能耗升高等问题。这一问题随着大数据和物联网时代的来临显得尤为严峻。另外，传统传感系统一般仅具有单一信号感知能力，难以完成多模态信号感知，容易引起错误判断。相比之下，人类感官系统不仅可以同时感知视觉、听觉、触觉、嗅觉、味觉等多模态信号，且集感知、存储和计算功能于一体，能够快速、高效感知目标的全方位信息并做出正确判断和反应，催生了类脑传感系统的提出。开发集多模态感存算功能于一体的类脑传感系统，对实现低功耗、高效率、且具备高感知能力和高决策精度的未来传感系统具有重要意义。
近日，齐鲁工业大学赵乐博士基于一种结构简单且易制备的光电突触器件[In2O3·SnO2/Nb:SrTiO3 (ITO/NSTO) 氧化物异质结]，完成了对电、光多模态信号的感知与存储功能，并进一步以此器件阵列为核心构建了用于情绪识别的多模态传感内计算系统以及用于实时监测动态车辆信息的神经形态视觉系统。该研究以“Multimodal In-Sensor Computing Implemented by Easily-Fabricated Oxide-Heterojunction Optoelectronic Synapses”为题发表在《Advanced Functional Materials》期刊上。齐鲁工业大学赵乐博士、山东大学颜世申教授和郑立梅教授为该论文通讯作者。该研究得到了齐鲁工业大学培新基金、国家自然科学基金、国家重点研发计划、山东省自然科学基金等项目支持。论文连接：https://doi.org/10.1002/adfm.202409045
