近日，我校光电科学与工程学院李昕明研究员课题组在面向机器人灵巧手的智能感知研究中，采用基于视觉的触觉（简称“视触觉”）传感技术围绕触觉特征信息感知策略取得重要进展。基于机器人系统对接触感知与环境交互的需求，课题组设计实现视触觉传感系统的光场特征提出多模态触觉感知策略和触觉信息循环融合策略，可实现在复杂操作任务中的性能提升和数据有效利用。相关研究成果分别以“A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network”和“Cyclic Fusion of Measuring Information in Curved Elastomer Contact via Vision-Based Tactile Sensing”为题先后发表在工程领域知名学术期刊IEEE Transactions on Instrumentation and Measurement。光电科学与工程学院博士研究生徐伟良、硕士研究生李梓岚分别为两篇文章第一作者，李昕明研究员为通讯作者，华南师范大学为唯一完成单位。上述研究得到了广东省自然科学基金、广东省微纳光子功能材料与器件重点实验室、华南师范大学科研启动基金等支持。

机器人系统依赖多种传感器来获取触觉信息，视触觉传感器因其结构简单、分辨率高，已成为研究的热点。目前，视触觉传感系统通常采用孤立的光学设计策略和不同的数据处理方法以获取不同模式的触觉信息，这在系统集成方面存在一定的局限性。与此同时，面向连续和可变空间接触需求的曲面接触末端结构也存在因几何不匹配导致的传感数据映射失真，限制了传感信息的解析与利用。

针对上述挑战，研究团队基于视触觉传感系统提出了一种使用反射光场信息的多模态触觉感知策略。这种策略不需要为不同模式的触觉信息设计不同的光学结构，而是通过简单的反射层结合神经网络来同时感知多种触觉信息，从而降低了触觉系统的复杂性。通过分析图像中传感器捕捉的接触引发的表面反射特性变化，能够获取有关接触物体的关键信息，如位置、力的大小和物体的姿态。研究中提出了一种端到端的神经网络方法，通过对原始触觉图像的处理生成三个不同维度的特征图，以捕捉不同抽象层次，并融合特征图以综合利用互补信息，最终通过四通道解码器提取和转化特征，输出接触物体的多模态信息。使用该策略的传感系统力识别精度达到了0.2 N，在小力范围内可提高至0.1 N，姿态角度识别误差仅为0.41°，定位精度为0.15 mm，实现了与人类触觉类似的微米级空间分辨率，表现出高精度和高可靠性，展示了系统在多种触觉信息精确感知方面的卓越能力。

同时，课题组进一步提出一种触觉信息循环融合策略，依托曲面传感接触过程的动态运动规律，利用频域变换与差异化融合触觉图像序列，可以实现在像素级精确提取接触数据和整合形状特征。该策略在保持结构相似度一致的基础上较原始触觉数据信息含量提高8%，区域信息偏差减少20%，在利用神经网络实现缺陷分类和检测的任务中将错误预测减少20%，在基于光度立体的表面深度重建中将投影偏差降低50%，展示出在大面积触觉传感和机器人末端精细操作交互中的应用价值。

论文链接：10.1109/TIM.2024.3428647.

论文链接：10.1109/TIM.2025.3533658.