OPPO广东移动通信有限公司萧人豪获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉OPPO广东移动通信有限公司申请的专利跨模态检索方法、跨模态检索模型的训练方法及相关设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115885274B 。
龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202180050439.3,技术领域涉及:G06F16/43;该发明授权跨模态检索方法、跨模态检索模型的训练方法及相关设备是由萧人豪设计研发完成,并于2021-06-11向国家知识产权局提交的专利申请。
本跨模态检索方法、跨模态检索模型的训练方法及相关设备在说明书摘要公布了:本申请公开了一种跨模态检索方法、跨模态检索模型的训练方法、电子设备及计算机可读存储介质,所述跨模态检索方法首先提取作为检索目标的第一模态样本的特征向量生成第一单元向量集,以及作为候选对象的多个第二模态样本的特征向量生成第二单元向量集,然后分别对第一单元向量集和第二单元向量集进行池化处理,再将池化得到的第一全局向量和多个第二全局向量分别投射到同一联合空间,最后基于投射得到的第一联合向量和各个第二联合向量之间的相似度获取跨模态检索结果。其中,第一全局向量包含了第一模态样本包含的第一单元的位置信息,第二全局向量包含了第二模态样本包含的第二单元的位置信息,能够提高检索结果的准确性。
本发明授权跨模态检索方法、跨模态检索模型的训练方法及相关设备在权利要求书中公布了:1.一种跨模态检索方法,其特征在于,包括: 将作为检索目标的第一模态样本和作为候选对象的多个第二模态样本输入检索模型,其中,所述检索模型包括第一特征提取网络、第二特征提取网络、池化网络、第一嵌入网络和第二嵌入网络; 利用所述第一特征提取网络提取所述第一模态样本的第一单元向量集,并利用所述第二特征提取网络分别提取每个所述第二模态样本的第二单元向量集,所述第一模态样本包括多个第一单元,所述第一单元向量集由所有所述第一单元的特征向量组成,每个所述第二模态样本包括多个第二单元,每个所述第二单元向量集由对应的所述第二模态样本中的所有所述第二单元的特征向量组成; 利用所述池化网络对所述第一单元向量集进行池化,得到第一全局向量,并利用所述池化网络分别对每个所述第二单元向量集进行池化,得到多个第二全局向量,其中,所述第一全局向量包含所述第一单元在所述第一模态样本中的位置信息,每个所述第二全局向量包含所述第二单元在对应的所述第二模态样本中的对应位置信息; 利用所述第一嵌入网络将所述第一全局向量投射到联合空间得到第一联合向量,并利用所述第二嵌入网络分别将每个所述第二全局向量投射到所述联合空间得到多个第二联合向量; 基于所述第一联合向量和各个所述第二联合向量之间的相似度获取所述第一模态样本的跨模态检索结果; 所述利用所述池化网络对所述第一单元向量集进行池化,得到第一全局向量,包括: 将所述第一模态样本中的各个所述第一单元的位置信息嵌入对应的特征向量,得到第一顺序编码向量集; 利用所述池化网络对所述第一顺序编码向量集进行池化,得到所述第一全局向量; 所述池化网络包括第一全连接层、第二全连接层和第三全连接层,所述利用所述池化网络对所述第一顺序编码向量集进行池化,得到所述第一全局向量,包括: 基于软分配函数对所述第一顺序编码向量集进行聚类,得到多个类; 基于所述第一全连接层获取每个所述类的第一池化特征,并基于所述第二全连接层获取每个所述类的第二池化特征; 将所有所述类的所述第一池化特征与所述第二池化特征之和输入所述第三全连接层,得到所述第一全局向量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人OPPO广东移动通信有限公司,其通讯地址为:523860 广东省东莞市长安镇乌沙海滨路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励