买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)申请的专利一种多模态大语言模型的幻觉减轻方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121661442B 。

龙图腾网通过国家知识产权局官网在2026-04-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202610139408.X，技术领域涉及：G06V10/774；该发明授权一种多模态大语言模型的幻觉减轻方法及装置是由王常维;高逸飞;游良梁;万琪;傅科学;曲悠扬;高龙翔设计研发完成，并于2026-02-02向国家知识产权局提交的专利申请。

本一种多模态大语言模型的幻觉减轻方法及装置在说明书摘要公布了：本发明属于人工智能与多模态大语言模型技术领域，具体涉及一种多模态大语言模型的幻觉减轻方法及装置。所述方法包括：获取原始图像的多专家视觉令牌及文本提示的文本令牌，将二者连接后输入多模态大语言模型；计算多专家视觉令牌的相似度矩阵与自适应聚类阈值，对多专家视觉令牌进行分层聚类，合并冗余令牌并保留互补视觉证据；通过CLIP锚定的互补拒绝微调策略，构建负样本池并分配至特征差异最大的辅助专家，对各专家对应的投影器进行专业化训练；将聚类融合后的视觉令牌与文本令牌输入多模态大语言模型，生成目标文本输出。本发明解决了现有多专家多模态大语言模型幻觉减轻方法中存在的信息冗余、计算开销大及专家优势未充分发挥的问题。

本发明授权一种多模态大语言模型的幻觉减轻方法及装置在权利要求书中公布了：1.一种多模态大语言模型的幻觉减轻方法，其特征在于，所述方法包括： S1、获取原始图像的多专家视觉令牌及文本提示的文本令牌； S2、基于跨模态查询引导的互补聚类策略，计算各图像块中多专家视觉令牌的相似度矩阵与自适应聚类阈值，对多专家视觉令牌进行分层聚类，合并冗余令牌并形成最终视觉令牌序列以保留互补视觉证据； S3、通过CLIP锚定的互补拒绝微调策略，构建负样本池并分配至特征差异最大的辅助专家，对各专家对应的投影器进行专业化训练； S4、将聚类融合后的视觉令牌与文本令牌输入多模态大语言模型，生成无幻觉的目标文本输出； 步骤S2所述基于跨模态查询引导的互补聚类策略，计算各图像块中多专家视觉令牌的相似度矩阵与自适应聚类阈值，具体为： S21：计算多专家视觉令牌的相似度矩阵：对每个图像块的多专家视觉令牌，通过余弦相似度计算pairwise相似度矩，并转换为对应的距离矩阵： 3 4 式3和4中，、分别表示第i个图像块中第m个和第n个多专家视觉令牌，距离越小表示视觉信息越冗余，距离越大表示互补性越强； S22：计算查询引导的自适应聚类阈值：对每个图像块的多专家视觉令牌进行均值池化，得到专家中心；计算专家中心与文本令牌的跨模态相关性和语义分歧度： 5 6 其中，为视觉专家数量，为文本长度对应的令牌数量，表示第i个图像块的专家中心；表示文本令牌集合T中的第j个文本令牌；表示专家中心与文本令牌的语义匹配概率； 基于跨模态相关性和语义分歧度，通过Sigmoid函数计算自适应聚类阈值： 7 式7中，表示Sigmoid函数，、为平衡相关性与分歧度的超参数； 步骤S3的具体步骤如下： S31：以CLIP-ViT作为锚定专家，使用基于CLIP-ViT的多模态大语言模型对训练数据生成响应，通过与真实标签对比验证响应正确性；将响应错误的样本收集为负样本池； S32：对负样本池中的每个样本，计算各辅助专家与CLIP-ViT的图像级特征相似度：首先对每个专家的视觉令牌进行均值池化，得到图像级表示；分别计算两个辅助专家与CLIP-ViT的图像级表示的余弦距离，将样本分配至余弦距离最大的辅助专家的训练集中进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东省计算中心(国家超级计算济南中心);齐鲁工业大学(山东省科学院)，其通讯地址为：250000 山东省济南市历下区经十路东首科学院路19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。