买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京工业大学申请的专利基于跨模态多粒度交互融合的长文档分类方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116522275B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310301100.7，技术领域涉及：G06F18/25；该发明授权基于跨模态多粒度交互融合的长文档分类方法及装置是由胡永利;刘腾飞;孙艳丰;尹宝才设计研发完成，并于2023-03-24向国家知识产权局提交的专利申请。

本基于跨模态多粒度交互融合的长文档分类方法及装置在说明书摘要公布了：基于跨模态多粒度交互融合的长文档分类方法及装置，能够有效弥补现有方法对视觉信息的忽视，通过引入特征偏移网络在不同粒度实现跨模态的交互和融合，控制计算复杂度，达到分类准确率和分类效率的平衡。方法包括：1输入一个长文档中对应的文本序列，以及对应的单张或多张图片；2分别通过预训练编码器BERT和VGG‑16提取对应模态的多粒度特征表示；3使用多模态协同池化模块，在视觉信息和文本信息的协同引导下池化细粒度文本特征；4使用跨模态特征偏移网络，分别在4个不同的粒度组合下实现跨模态特征的交互和融合；5使用特征聚合网络实现多空间特征的融合，并获得最终的长文档分类结果。

本发明授权基于跨模态多粒度交互融合的长文档分类方法及装置在权利要求书中公布了：1.基于跨模态多粒度交互融合的长文档分类方法，其特征在于：该方法包括以下步骤： 1输入为一个长文档中对应的文本序列，以及对应的单张或多张图片； 2分别通过预训练编码器BERT和VGG-16提取对应模态的多粒度特征表示； 3使用多模态协同池化模块，在视觉信息和文本信息的协同引导下池化细粒度文本特征，以消除冗余的文本信息，并达到控制计算复杂度的目的； 4使用跨模态特征偏移网络，分别在4个不同的粒度组合下实现跨模态特征的交互和融合； 5使用特征聚合网络实现多空间特征的融合，并获得最终的长文档分类结果； 所述步骤4中，在图像特征和文本特征的协同引导下，自适应的池化细粒度文本特征： 首先分别对粗粒度文本特征V和细粒度图像特征进行列方向的最大池化操作，具体表示为： 其中又称I为粗粒度图像特征； 然后分别投影每一段的单词特征到特征方向之上，为了最大程度保留关键单词节点信息，分别选择得分最好的前k个节点作为该段的池化节点输出，具体表示为： yti＝sigmoidXiD，i＝1，2，...，midxti＝rankyti，k5 yvi＝sigmoidXiI，i＝1,2，...，midxvi＝rankyvi，k6 依据上述索引，具体的多模态协同池化过程表示如下： 最终，串联文本和图像分支得到的池化节点，并获得最终的细粒度文本表示为X′＝{X′1，X′2，...，X′m}，其中[；]代表沿着列方向串联矩阵； 为了更充分的建模文本和图像之间的特征交互，使用粗粒度图像特征I作为偏移向量，分别自适应作用在粗粒度和细粒度文本特征之上：首先分别复制粗粒度图像特征m次和m×2k次，并对应组织为 和 然后使用模态混合偏移模块MMSM完成其交互和融合，以粗粒度文本特征为例，具体表示为： 对于池化后的每一段单词特征，使用模态混合偏移模块实现其与粗粒度图像特征的交互和融合，并在融合后对每段进行最大池化操作，便于后续和粗粒度文本特征的融合，具体表示为： 最终，偏移后的细粒度文本特征为

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京工业大学，其通讯地址为：100124 北京市朝阳区平乐园100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。