买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广西警察学院申请的专利一种基于大语言模型的多模态实体识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119167937B 。

龙图腾网通过国家知识产权局官网在2025-07-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411393490.6，技术领域涉及：G06F40/295；该发明授权一种基于大语言模型的多模态实体识别方法是由秦振凯;朱雨燕;叶李霞;魏文婧;莫星宇;陈悦设计研发完成，并于2024-10-08向国家知识产权局提交的专利申请。

本一种基于大语言模型的多模态实体识别方法在说明书摘要公布了：本发明公开了一种基于大语言模型的多模态实体识别方法，S1、构建多模态输入数据集；S2、通过自适应模态交互框架确定并应用不同模态输入数据的预处理方法；S3、将预处理后的多模态输入数据集输入到具有模态感知机制的大语言模型中；S4、生成优化后的融合特征表示；S5、基于融合特征表示进行跨模态实体识别；S6、将识别出的实体通过动态映射算法与现有知识图谱进行自动匹配，若所述实体为新实体，则根据自适应模态交互的结果，自动生成新节点并更新现有的知识图谱节点关系；S7、通过不断输入新的多模态数据，系统自动调整并优化大语言模型的模态感知机制及自适应模态交互框架，对知识图谱进行动态扩展。本发明提升了复杂实体识别的准确性。

本发明授权一种基于大语言模型的多模态实体识别方法在权利要求书中公布了：1.一种基于大语言模型的多模态实体识别方法，其特征在于，包括如下步骤： S1、接收文本数据、图像数据和音频数据，构建多模态输入数据集； S2、通过自适应模态交互框架确定并应用不同模态输入数据的预处理方法，对多模态输入数据集进行预处理； S3、将预处理后的多模态输入数据集输入到具有模态感知机制的大语言模型中，大语言模型用于生成包含多模态上下文理解的综合语义表示，结合文本、图像和音频的语义信息； S4、使用自适应模态交互框架对大语言模型生成的综合语义表示和其他模态特征进行自适应融合，通过动态调节不同模态的交互权重，生成优化后的融合特征表示； S5、基于融合特征表示进行跨模态实体识别，跨模态实体识别包括利用模态感知机制识别文本和其他模态信息中的复杂实体和关系，并为实体生成相应的分类标签和关系映射； S6、将识别出的实体通过动态映射算法与现有知识图谱进行自动匹配，若所述实体为新实体，则根据自适应模态交互的结果，自动生成新节点并更新现有的知识图谱节点关系； S7、通过不断输入新的多模态数据，系统自动调整并优化大语言模型的模态感知机制及自适应模态交互框架，持续学习新知识，并对知识图谱进行动态扩展； 所述S2步骤包括： S21、通过自适应模态交互框架对多模态输入数据集D＝{xt,xi,xa}进行模态识别，确定每个模态的类型和数据结构； S22、根据每个模态的特点，应用不同的预处理方法，其中对文本数据集Dt执行分词和去噪处理，对图像数据集Di进行标准化和尺寸归一化处理，对音频数据集Da进行去噪和频率域转换处理； S23、将预处理后的文本数据集Ptxt、图像数据集Pixi和音频数据集Paxa组合为预处理后的多模态输入数据集PD＝{Ptxt,Pixi,Paxa}； 所述S4步骤包括： S41、使用自适应模态交互框架对大语言模型生成的综合语义表示Emulti和各模态特征进行自适应融合，自适应模态交互框架动态调整不同模态的交互权重； S42、通过自适应模态交互框架中的交互函数hEmulti,Em对文本语义表示Etxt、图像语义表示Eixi和音频语义表示Eaxa进行特征融合； S43、通过模态间的交互机制，根据每个模态的重要性动态调节不同模态的权重ωm； 所述S5步骤包括： S51、基于融合特征表示Fopt通过模态感知机制对文本、图像和音频数据中的复杂实体和关系进行识别； S52、通过模态感知机制对文本模态中的显式和隐式实体进行识别； S53、对于图像和音频模态，通过模态感知机制识别实体间的关系； S54、为识别出的文本模态中的隐式实体和图像和音频模态的实体生成相应的分类标签Centity； 所述S6步骤包括： S61、将识别出的实体Eentity通过动态映射算法与现有知识图谱G＝V,R进行自动匹配，实体Eentity的多模态特征通过模态相似性计算与知识图谱节点vi∈V进行匹配； S62、若识别出的实体Eentity未能匹配到现有节点vi，则根据自适应模态交互的结果，自动生成新节点vnew； S63、更新实体之间的关系R，通过关系映射生成新实体vnew和现有实体节点vi之间的关系； S64、对知识图谱进行自动更新，生成扩展后的知识图谱G'＝V',R'。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广西警察学院，其通讯地址为：530028 广西壮族自治区南宁市青秀区长湖路6号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。