买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军国防科技大学申请的专利多模态事件抽取方法、装置、设备、存储介质及程序产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119623616B 。

龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510163955.7，技术领域涉及：G06N5/025；该发明授权多模态事件抽取方法、装置、设备、存储介质及程序产品是由曹健威;胡艳丽;曾维新;孙英杰;李凌寒;王浩源;谭真;赵翔;张鑫;蔡飞设计研发完成，并于2025-02-14向国家知识产权局提交的专利申请。

本多模态事件抽取方法、装置、设备、存储介质及程序产品在说明书摘要公布了：本发明公开了一种多模态事件抽取方法、装置、设备、存储介质及程序产品，该方法包括：对多模态数据中的文本数据进行特征提取，基于文本特征提取结果生成文本标签序列，对多模态数据中的图像数据进行目标检测，基于文本标签序列和目标检测结果获取多模态数据的图文细粒度信息，基于图文细粒度信息生成文本实体集合和视觉实体集合，将文本实体集合与视觉实体集合进行实体匹配，基于实体匹配结果对多模态数据进行细粒度图文对齐，并将细粒度图文对齐后的多模态数据输入至预先构建的事件抽取模型进行事件抽取，实现对全局和局部语义信息的有效分析，从而可以准确地从存在复杂语义场景的多模态数据中抽取事件，有效地避免漏掉潜在的事件价值。

本发明授权多模态事件抽取方法、装置、设备、存储介质及程序产品在权利要求书中公布了：1.一种多模态事件抽取方法，其特征在于，所述多模态事件抽取方法包括： 对多模态数据中的文本数据进行特征提取，并基于文本特征提取结果生成文本标签序列，所述文本标签序列包含多个文本标签，所述文本标签包括所述文本数据中文本事件的文本事件类型以及各文本事件对应的文本实体； 对所述多模态数据中的图像数据进行目标检测，获得目标检测结果，所述目标检测结果包括所述图像数据中的目标边界框以及各目标边界框中是否存在视觉实体的判断结果； 基于所述文本标签序列和所述目标检测结果获取所述多模态数据的图文细粒度信息，并基于所述图文细粒度信息对所述多模态数据进行实体抽取，生成文本实体集合和视觉实体集合； 将所述文本实体集合与所述视觉实体集合进行实体匹配，获得实体匹配结果，所述实体匹配结果包括属于同一论元角色的文本实体与视觉实体之间的匹配结果； 基于所述实体匹配结果对所述多模态数据进行细粒度图文对齐，并将细粒度图文对齐后的多模态数据输入至预先构建的事件抽取模型进行事件抽取； 所述对所述多模态数据中的图像数据进行目标检测，获得目标检测结果，包括： 对所述多模态数据中的图像数据进行目标定位，获取所述图像数据中的实体位置信息； 基于所述实体位置信息在所述图像数据中标注目标边界框； 将标注后的图像数据输入至预训练目标检测模型进行目标检测，获得目标检测结果，所述预训练目标检测模型的训练损失函数包括： 其中，代表预训练目标检测模型的训练损失函数，代表边界框损失函数，边界框损失函数用于衡量预测边界框与真实边界框之间的差异，代表置信度损失函数，置信度损失函数用于衡量目标边界框中包含物体的置信度，为二元分类损失函数，二元分类损失函数用于判断目标边界框中是否存在视觉实体； 所述基于所述实体匹配结果对所述多模态数据进行细粒度图文对齐，并将细粒度图文对齐后的多模态数据输入至预先构建的事件抽取模型进行事件抽取之前，还包括： 对所述多模态数据的文本数据和图像数据进行分析，获取所述文本数据中的抽象语义表示信息和所述图像数据中的视觉场景图； 基于所述抽象语义表示信息和所述视觉场景图对文本事件和图像事件进行建模，获取初始抽取模型； 根据图文对数据对所述初始抽取模型进行弱监督对齐，获得事件抽取模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。