哈尔滨工程大学张智获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉哈尔滨工程大学申请的专利一种基于场景图的图像内容检索方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115952306B 。
龙图腾网通过国家知识产权局官网在2025-09-09发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211550485.2,技术领域涉及:G06F16/432;该发明授权一种基于场景图的图像内容检索方法是由张智;李金星;王立鹏;尚晓兵;孙杰设计研发完成,并于2022-12-05向国家知识产权局提交的专利申请。
本一种基于场景图的图像内容检索方法在说明书摘要公布了:本发明公开了一种基于场景图的图像内容检索方法,本发明通过结构化的方式,检索出符合描述的图片集。基于场景图的图像检索方法从图像整体的内容入手,更加注重于目标与目标之间的视觉关系。这种视觉关系,以图的形式组成,将图像以一种结构化描述的形式展现出来,利用这种复杂的结构化形式完成检索任务,通过这种更加细致地描述提升了基于图像内容检索的准确度,也满足了人们对于细粒度的图像检索任务的要求。本发明并不局限于检索出单目标或多目标的名称与特点,更在于对多目标之间的相互作用关系进行检索。
本发明授权一种基于场景图的图像内容检索方法在权利要求书中公布了:1.一种基于场景图的图像内容检索方法,其特征在于:具体步骤为: 步骤一:场景图嵌入; 图卷积神经网络处理输入场景图,生成与图中目标节点对应的嵌入图;利用特征提取网络对图像的深层视觉特征进行提取,得到图像的整体特征图;根据需要检测和推理的主语,关系,宾语选取三元组区域;对目标的区域特征进行处理得到预测的目标和关系; 所述场景图嵌入具体为:对所有对象oi∈O,所有边oi,r,oj∈E给定输入向量利用gs,gp和go三种图卷积函数来生成对于所有计算节点与边的输出向量将一条边的三元组向量vi,vr,vj作为输入,分别输出组组新向量主语oi,谓语r,宾语oj; 设v'r=gpvi,vr,vj,一个对象oi的输出向量v'i应该依赖oi通过图边连接到的对象的所有向量vj,以及这些边的向量vr;对于每条从oi开始的边,使用gs来计算一个候选向量,在集合中收集所有这样的候选向量,同样使用go去计算终止与oi的所有边的一组候选向量 对象oi的v'i的输出向量计算为h是一种对称函数,它将向量的输入集合池化到单个输出向量; 步骤二:布局预测模型; 单例目标嵌入作为网络模型下一阶段的输入,预测模型第二阶段的输出被用作带有目标定位的场景布局,利用这种目标嵌入形成一系列三元组主语,谓语、宾语嵌入向量;将三元组嵌入向量通过一个三元掩膜预测网络标记出目标对象属于主语还是宾语,这一目的在于标定出多目标之间的主谓关系;通过一个三元组回归网络传递三元组嵌入向量,在这个回归网络中,训练网络在主体和对象的边界框上进行连接定位;框被定义为主体和对象的边界框; 所述布局预测模型具体为:对象布局网络接受一个嵌入向量vi形状D对象oi,并将它传递到一个掩膜回归网络去预测一个形状M×M的软二分类掩膜一个边界回归网络去预测边界回归框的位置将嵌入向量vi与掩膜相乘,得到形状为D×M×M的掩膜嵌入,然后使用双线性插值将其弯曲到边界框的位置,给出对象布局,对象布局是上面所有对象布局的总和; 步骤三:目标匹配; 查询数据库,从一个学习过的场景图嵌入的对象嵌入形成结构化查询;通过多种形式的结构化查询,同样包括视觉语义的方式;从COCO-Stuff数据集上标注的测试场景图中提取了3100个视觉关系数据库;按照各自的嵌入空间表示使用相似度度量S对检索到的图像进行排序;展示出前N张符合检索要求图片供其筛选。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人哈尔滨工程大学,其通讯地址为:150001 黑龙江省哈尔滨市南岗区南通大街145号哈尔滨工程大学科技处知识产权办公室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。