厦门理工学院;厦门美图之家科技有限公司;厦门大学王大寒获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门理工学院;厦门美图之家科技有限公司;厦门大学申请的专利一种缓解多模态大模型幻觉的训练方法、装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120258071B 。
龙图腾网通过国家知识产权局官网在2025-08-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510718228.2,技术领域涉及:G06N3/08;该发明授权一种缓解多模态大模型幻觉的训练方法、装置是由王大寒;赵启延;刘洛麒;余清洲;张煦尧;王菡子;朱顺痣设计研发完成,并于2025-05-30向国家知识产权局提交的专利申请。
本一种缓解多模态大模型幻觉的训练方法、装置在说明书摘要公布了:本发明提供了一种缓解多模态大模型幻觉的训练方法、装置,涉及多模态大模型训练技术领域,该方法通过重新定义图像标记之间的位置关系,引入二维曼哈顿距离计算,优化了传统一维位置编码的不足,保留了图像的空间局部性特征。同时,通过改进因果注意力掩码,进一步提升了模型对图像与文本信息的融合能力。在模型训练过程中采用冻结预训练模块并逐步微调的策略,显著提高了模型的多模态对齐效果,降低了幻觉现象的发生率,为构建更可靠、更高效的多模态人工智能系统提供了新的技术路径。旨在解决现有技术中多模态大模型因位置编码方式导致的幻觉问题。
本发明授权一种缓解多模态大模型幻觉的训练方法、装置在权利要求书中公布了:1.一种缓解多模态大模型幻觉的训练方法,其特征在于,包括: 获取图像数据,并将所述图像数据传入多模态大模型中,对所述图像数据进行编码处理,得到多个图像标记; 计算各图像标记之间的相对位置距离,并将该相对位置距离从一维层面演变至二维层面,得到二维坐标曼哈顿距离; 对图像标记进行光栅扫描处理,对位置索引进行分配,并重新给图像标记分配二维位置坐标; 对所述二维坐标曼哈顿距离进行等价转换处理,并将光栅扫描的位置索引替换成重新分配的图像标记的二维位置坐标的坐标值之和; 根据新的位置索引和转换后的二维坐标曼哈顿距离,对因果注意力掩码进行建模,并将默认的因果注意掩码替换成新建模的因果注意力掩码; 冻结所述多模态大模型,根据替换后的因果注意力掩码以及预设的预训练数据对所述多模态大模型进行调整训练预处理,直至所述多模态大模型达到预设效果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门理工学院;厦门美图之家科技有限公司;厦门大学,其通讯地址为:361024 福建省厦门市集美区理工路600号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。