买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院西安光学精密机械研究所申请的专利基于视觉交互的多模态数据标注与大模型思维链训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120562596B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511053014.4，技术领域涉及：G06N20/00；该发明授权基于视觉交互的多模态数据标注与大模型思维链训练方法是由王荃;吴兵兵;霍永胜;党若琛;王禹淇;赵世斌设计研发完成，并于2025-07-30向国家知识产权局提交的专利申请。

本基于视觉交互的多模态数据标注与大模型思维链训练方法在说明书摘要公布了：本发明属于大模型训练领域，具体涉及一种基于视觉交互的多模态数据标注与大模型思维链训练方法。该方法包括以下步骤：1、多模态数据采集；2、将多模态数据显示到显示器上，通过显示器将多模态数据展示给专家，采用眼动数据采集设备记录专家观看显示器上多模态数据时的眼动轨迹，并且采用语音采集设备采集专家的语音信息；3、根据眼动轨迹和语音信息，形成多模态标注数据；4、对多模态标注数据进行预处理后，再将其输入至大模型进行训练，得到训练好的大模型。本发明能够采集专家在标注过程中的多模态标注数据，将专家的思维链和思维过程进行显性化处理，并进行逻辑融合，提升大模型的信息广度和准确度。

本发明授权基于视觉交互的多模态数据标注与大模型思维链训练方法在权利要求书中公布了：1.一种基于视觉交互的多模态数据标注与大模型思维链训练方法，其特征在于，包括以下步骤： 步骤1、多模态数据采集，包括图像数据采集、文本数据采集和传感器监测数据采集； 步骤2、将采集到的多模态数据，按照设定的排列方式显示到显示器上的不同区域，通过显示器将多模态数据展示给专家，在此过程中，采用眼动数据采集设备记录专家观看显示器上多模态数据时的眼动轨迹，并且采用语音采集设备同步采集专家的语音信息； 步骤3、根据采集到的眼动轨迹数据，确定专家的注视点坐标；再基于专家的注视点坐标，通过时间序列分析确定专家注视显示器上各个区域的先后顺序，按照该顺序将注视区域依次裁切为图片，形成包含专家思维过程的图像标注数据； 将采集的语音信息转为语音文本信息，再将语音文本信息按照时间顺序与图像标注数据中的图片进行匹配，为每个图片添加对应的语音文本标签，形成多模态标注数据； 步骤4、对多模态标注数据进行预处理，再将预处理后的多模态标注数据输入至大模型进行训练，得到训练好的AI大模型，完成大模型思维链训练； 所述预处理具体为： Y1、使用CNN模型将多模态标注数据中的图片转换为图像特征向量，使用BERT模型将多模态标注数据中的语音文本信息转换为文本特征向量； Y2、利用图像-文本对比学习方法，将图像特征向量和文本特征向量对齐到同一空间； Y3、通过加法器将图像特征向量和文本特征向量相加，获得融合特征向量，也即预处理后的多模态标注数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院西安光学精密机械研究所，其通讯地址为：710119 陕西省西安市高新区新型工业园信息大道17号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。