近日,我校心理学院张喜淋教授团队论文“AVID: A 5T fMRI Dataset for Benchmarking Auditory-induced Visual Mental Imagery Decoding“,获神经信息处理系统大会(Conference on Neural Information Processing Systems, NeurIPS 2026)录用。该研究围绕“如何从大脑活动中解码人们在脑海中想象的视觉场景”这一问题,结合听觉诱导的视觉想象实验与5T fMRI技术,构建了视觉想象数据集AVID及相应的解码评测基准,并提出图像重建方法,为视觉想象研究与脑解码技术发展提供了新的数据资源和方法支持。论文第一作者为我校心理学院2023级博士研究生沈世琪,张喜淋教授和上海科技大学的李远宁教授为论文共同通讯作者,该论文获得国家自然科学基金等项目资助。

如何将“脑海中的画面”转化为可见图像,是脑解码研究的重要挑战。现有视觉想象研究多要求参与者事先记忆图片,或通过屏幕提示诱发想象,难以充分区分自主构建的视觉场景、近期图片记忆与外部视觉输入的影响。针对这一问题,研究团队采用闭眼聆听场景描述的实验范式,让参与者无需预先观看或记忆目标图片,而是根据听到的中文描述在脑海中构建相应画面。团队利用5T fMRI采集了9名参与者约72小时、14,400个试次的脑成像数据,构建了覆盖800种场景描述的AVID数据集,为不同视觉想象解码方法的评估与比较提供了共同的数据基础。在此基础之上,团队进一步提出双通路脑解码框架,结合脑活动中的语义与空间结构信息,通过生成式模型重建与想象内容相对应的图像,在多项基准指标上优于所比较的方法,尤其提升了场景语义的还原能力。研究将实验范式、数据资源与解码方法相结合,为探索从语言描述到内部视觉表征的神经过程提供了新的研究工具,也为以视觉想象表达意图的非侵入式脑机接口研究奠定了基础。未来,这类技术有望为言语或运动功能受限人群的辅助交流,以及由脑活动驱动的图像创作提供新的研究路径。
NeurIPS创办于1987年,是机器学习与人工智能领域规模最大、影响力最高的国际学术会议之一,与ICML、ICLR并称机器学习与人工智能领域“三大顶会”,也是中国计算机学会(CCF)推荐的A类国际学术会议。会议具有鲜明的跨学科特色,研究范围涵盖机器学习、生成式人工智能、计算机视觉、自然语言处理,以及神经科学、认知科学等领域,是人工智能与脑科学交叉研究的重要交流平台。