买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于CLIP背景知识的图文特征融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116246279B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211691723.1，技术领域涉及：G06V30/19；该发明授权一种基于CLIP背景知识的图文特征融合方法是由史树敏;陈雨涛;黄河燕设计研发完成，并于2022-12-28向国家知识产权局提交的专利申请。

本一种基于CLIP背景知识的图文特征融合方法在说明书摘要公布了：本发明涉及一种基于CLIP背景知识的图文特征融合方法，属于图文融合信息处理与应用技术领域。首先利用OCR图片文本识别模型，对数据集中的每张图片进行文本提取，并将其添加至输入中。对输入分别使用不同的预训练模型得到向量表示。将各个隐向量串联，然后经过两个Transformer编码器，计算不同模态向量间的关系。之后使用CLIP模型，分别抽取图片和文本的向量，得到富有知识的多模态融合特征。将多模态融合特征串联后输入到全连接层，使用softmax函数进行归一化，由此在CLIP语境下得到了图文的融合特征，完成基于CLIP背景知识的多模态特征融合。本发明丰富了图片和文本之间的联系，使用OCR增强了图片模态在文本模态上的关系，提升了多模态融合特征的表示程度。

本发明授权一种基于CLIP背景知识的图文特征融合方法在权利要求书中公布了：1.一种基于CLIP背景知识的图文特征融合方法，其特征在于，包括以下步骤： 步骤1：利用OCR图片文本识别模型，对数据集中的每张图片进行文本提取，并将其添加至输入中，输入包括三部分：图片、文本、OCR文本； 若提取不到文本，则使用原文本进行填充； 步骤2：将步骤1中的输入分别使用不同的预训练模型得到向量表示； 其中，图片使用VisionTransformer模型，简称ViT模型，文本和OCR文本使用RoBERTa模型； 具体地，步骤2包括以下步骤： 步骤2.1：给定任务输入中的一个样本，，表示该任务的数据集，表示图片，表示文本，表示OCR得到的文本； 使用BERT的词表对O的所有文本进行清洗，过滤掉不成文的单词； 步骤2.2：对于图片I，使用预训练的ViT模型，提取其最后一层的隐向量表示，具体如下： 1 其中，是预训练模型的输出，R表示一个向量矩阵，表示图片经过序列化后的长度； 步骤2.3：对于文本T和文本O，分别使用两个RoBERTa模型提取最后一层的隐向量和，具体如下： 2 3 其中，，是预训练模型的输出，R表示一个向量矩阵，、为文本的长度； 步骤3：将步骤2所得的各个隐向量串联，然后经过两个Transformer编码器，计算不同模态向量间的关系，并取作为最终的向量表示； 具体地，步骤3包括以下步骤： 步骤3.1：串联和，将其输入到一个Transformer编码器中，得到图片和文本间的关系向量表示，具体如下： 4 5 其中，表示串联，表示图片与文本向量串联后的表示，表示将作为Transformer编码器的输入后得出的最终结果； 步骤3.2：串联和，将其输入到另一个Transformer编码器中，得到两种文本间关系的向量表示，具体如下： 6 7 其中，表示串联，表示文本与OCR文本向量串联后的表示；表示将作为Transformer编码器的输入后得出的最终结果； 步骤4：使用CLIP模型，分别抽取图片和文本的向量，得到富有知识的多模态融合特征，具体如下： 8 其中，分别表示图片与文本经过CLIP模型后的向量表示，其维度均为512； 步骤5：将串联后输入到全连接层，使用softmax函数进行归一化； 9 10 其中，h是将步骤3、4中所得到的向量串联后的结果；output为多模态融合后的最终向量表示；softmax函数是归一化指数函数； 在CLIP语境下得到了图文的融合特征，完成基于CLIP背景知识的多模态特征融合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。