买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利面向新闻定制的多模态摘要生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119621959B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411673674.8，技术领域涉及：G06F16/34；该发明授权面向新闻定制的多模态摘要生成方法是由刘波;王檀杰;陈浚纬;曹玖新设计研发完成，并于2024-11-21向国家知识产权局提交的专利申请。

本面向新闻定制的多模态摘要生成方法在说明书摘要公布了：面向新闻定制的多模态摘要生成方法，首先将图片和文本拿数据输入到基于BART的多模态编码其中，并在编码过程中实现多模态交互，同时，加入图文匹配模块以选出每张图片对应的句子，并在解码器中新增交叉注意力层；之后，构建摘要评分模型，通过计算候选摘要与新闻文本的相似度作为评分，从而选出最优摘要；计算图片对应的句子与最优摘要之间的ROUGE分数作为文本相似分数，结合经过多模态交互后的图片特征得到图文相似分数，得到图片选择概率，选取最高概率的图片为模型选择图片，生成多模态新闻摘要。系统采用BS架构，使用轻量级Web框架Flask进行搭建，并使用Layui开源框架实现交互界面的搭建。本发明有效提高新闻多模态摘要生成的准确性及丰富性，鲁棒性强。

本发明授权面向新闻定制的多模态摘要生成方法在权利要求书中公布了：1.面向新闻定制的多模态摘要生成方法，其特征在于：该方法包括以下步骤： 1文本图片多模态特征提取： 使用ViT-B32对输入的原始图片进行特征提取，得到图片特征序列，将原始文本进行分句，再输入到嵌入层转化为词向量，得到文本特征序列，最终将图片特征序列和文本特征序列一起输入到Transformer编码器中，通过注意力机制实现多模态特征的提取； 2文本图片匹配模型： 根据步骤1中得到的图片特征序列以及文本特征序列，通过CLIP模型转化为特征向量，让图片特征与文本特征做余弦相似度计算，利用对比学习使得文本和图片在相同的特征空间中具有相似的表示，余弦相似度最大的句子将被视为与这张图片最相关的句子，从而实现图片和文本的跨模态匹配； 3融合图文匹配信息的多模态摘要生成： 根据步骤2中图文匹配模块的输出和步骤1得到的Transformer编码器的输出，将他们作为增强信息，通过多层Transformer解码器，利用多层交叉注意力机制生成摘要，其中第一个交叉注意力层是为了提前将与图片对应的文本特征向量输入到解码器中，并使解码器对文本向量给予更高关注，而第二个交叉注意力层则是为了获取多模态编码器交互后的所有文本向量特征来获取完整的信息从而生成候选摘要； 4基于对比学习的摘要评分模型： 根据步骤3中生成的候选摘要，将他们和新闻文本特征一起通过嵌入层转化成向量后再次输入到摘要评分模型的编码器中，对他们进行语义编码后，取编码器输出的最后一层隐含状态中的[CLS]token作为候选摘要的向量表示，计算候选摘要向量和新闻文本向量的余弦相似度来评估候选摘要的质量，选择候选摘要中与新闻文本相似度最高的作为最佳摘要； 5融合图文匹配信息的图片选择模块： 根据步骤3和步骤4的输出，得到图文相似分数和文本相似分数，进行拼接操作之后将其输入到一个线性层中，并应用了Sigmoid函数进行归一化处理，最后得到图片选择分数； 6系统功能展示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210000 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。