近日，行知书院“一站式”学生课外实践创新基地机器人与智能感知实验室在情感分析领域取得新的进展。研究成果以“MDMU: Multimodal Dynamic Mamba UNet for Multimodal Sentiment Analysis”为题，获多媒体领域国际高端学术会议“IEEE International Conference on Multimedia & Expo (ICME) 2025”接收。

论文第一作者为数据科学与工程学院2022级本科生李伟彬，通讯作者、指导老师为行知书院副院长唐小煜，参与该研究的还有电子与信息工程学院研究生黄嘉正、数据科学与工程学院本科生邵文昊、商学院本科生刘忆筠，以及数据科学与工程学院青年教师薛博桓。

多模态情感分析旨在通过整合文本、视觉与音频信号来精准预测用户的情感极性与强度。面对不同模态采样率差异导致的序列对齐挑战，以及现有交叉注意力方法中三模态间成对计算带来的计算复杂性问题，研究团队提出了多模态动态Mamba UNet（MDMU）框架。

该框架创新性地将类UNet结构与状态空间模型Mamba集成用于多模态序列建模，其中，UNet架构专门捕获跨模态时序依赖关系，Mamba模块则高效进行语义特征提取，实现近线性复杂度的计算效率。研究同时提出多模态动量对比（MMC）学习机制，摒弃传统三模态成对交互模式而采用统一表示学习范式，通过大规模困难负样本的动态构建增强模态间信息交互，实现精细化跨模态特征融合。实验验证表明，即使在非严格时间对齐条件下，所提方法仍能显著提升模型性能，为多模态序列建模提供了新视角。

项目开源链接：https://github.com/SCNU-RISLAB/MDMU