买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利基于实体挖掘和修改关系绑定的组合图像检索方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120067365B 。

龙图腾网通过国家知识产权局官网在2026-03-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411903224.3，技术领域涉及：G06F16/58；该发明授权基于实体挖掘和修改关系绑定的组合图像检索方法及系统是由胡宇鹏;李子旭;陈智伟;付志恒;黄钦磊设计研发完成，并于2024-12-23向国家知识产权局提交的专利申请。

本基于实体挖掘和修改关系绑定的组合图像检索方法及系统在说明书摘要公布了：本发明涉及基于实体挖掘和修改关系绑定的组合图像检索方法及系统，包括：分批读取训练集数据，并对训练集数据进行全局特征和局部特征的提取；将局部特征通过潜在因素过滤，进一步提取出与修改语义相关的视觉和文本的潜在因素特征；对于潜在因素特征，结合实体‑动作绑定，深入挖掘参考图像和修改文本中的语义关系，探测语义边界，将潜在因素分别聚合为视觉实体和修改动作；对于得到的不同尺度的特征，通过多尺度组合，得到最终的组合特征；将组合特征与图库中的不同图像分别计算点积，作为相似度分数，并对相似度分数进行降序排列，选取相似度分数排名前若干位的目标图像，完成组合图像检索。本发明实现了对用户目标图像的有效检索。

本发明授权基于实体挖掘和修改关系绑定的组合图像检索方法及系统在权利要求书中公布了：1.基于实体挖掘和修改关系绑定的组合图像检索方法，其特征在于，包括： 分批读取训练集数据，并对训练集数据进行全局特征和局部特征的提取；将局部特征通过潜在因素过滤，进一步提取出与修改语义相关的视觉和文本的潜在因素特征； 对于潜在因素特征，结合实体-动作绑定，深入挖掘参考图像和修改文本中的语义关系，探测语义边界，将潜在因素分别聚合为视觉实体和修改动作； 对于得到的不同尺度的特征，通过多尺度组合，得到最终的组合特征； 将组合特征与图库中的不同图像分别计算点积，作为相似度分数，并对相似度分数进行降序排列，选取相似度分数排名前若干位的目标图像，完成组合图像检索； 将局部特征通过潜在因素过滤，进一步提取出与修改语义相关的视觉和文本的潜在因素特征；包括： 基于局部特征，通过跨模态交叉注意力和模态内自注意力计算每个视觉因素和文本因素之间的交叉关系分数；同时还计算模态内自注意力分数； 结合自注意力分数和交叉关系分数，区分视觉和文本的潜在因素和搁置因素； 利用多层感知机得到潜在因素的自适应权值，以增强与修改语义更相关因素的权值； 基于局部特征，通过跨模态交叉注意力和模态内自注意力计算每个视觉因素和文本因素之间的交叉关系分数；同时还计算模态内自注意力分数；包括： 基于参考图像的局部特征，计算模态间交叉关系分数和模态内自注意力分数，表示如下： 其中，，；为模态间交叉注意力，为模态内自注意力，Q、K是计算注意力权重的特征向量，V是表示输入特征的向量，是指修改文本的局部特征；是指参考图像的局部特征； 结合自注意力分数和交叉关系分数，区分视觉和文本的潜在因素和搁置因素；包括： 结合交叉关系分数和自注意力分数，将超过指定阈值的因素被保留为后续实体-动作绑定的潜在因素，同时，对于低于指定阈值的因素，表示为搁置因素； 利用多层感知机得到潜在因素的自适应权值；包括： 通过多层感知机和Softmax函数，得到潜在因素的自适应权值，参考图像中，增强后的潜在因素最终表示如下： ， 其中，，表示因素权重，P表示待学习的潜在因素个数，，是指修改文本的潜在因素，是指修改文本的搁置因素，是激活函数，为多层感知机，此外，还对搁置因素采用了平均池化；同理，得到修改文本最终的潜在因素特征，和目标图像最终的潜在因素特征； 对于潜在因素特征，结合实体-动作绑定，深入挖掘参考图像和修改文本中的语义关系，探测语义边界，将潜在因素分别聚合为视觉实体和修改动作；包括： 训练模态共享的可学习关系查询，以挖掘参考图像和修改文本中的语义关系，探测语义边界，并将其潜在因素分别聚合为视觉实体和修改动作； 通过可学习关系查询，学习视觉实体与修改动作之间的隐式修改关系，作为媒介辅助实体-动作绑定； 对于潜在因素特征，结合实体-动作绑定，深入挖掘参考图像和修改文本中的语义关系，探测语义边界，将潜在因素分别聚合为视觉实体和修改动作；包括： 初始化可学习关系查询，其中，E为查询数，D为CLIP的全局嵌入维数； 对可学习关系查询之间先进行交互，计算自注意力权值，还计算可学习关系查询与不同模态的潜在因素的交叉注意权值和，表示如下： 其中，，为可学习关系查询与参考图像的潜在因素计算的交叉注意权值，，为可学习关系查询与修改文本的潜在因素计算的交叉注意权值； 基于，，，可学习关系查询对于参考图像的潜在因素和修改文本的潜在因素的自适应注意力权值分别为和； 将和分别赋给对应的潜在因素，并利用多层感知机自适应学习权值，从而将潜在因素映射到对应的令牌，其中，每个令牌匹配可学习关系查询的相应查询，表示如下： 其中，和分别对应实体令牌与动作令牌； 对于可学习关系查询设计绑定正交化损失函数，表示如下： 其中，，为矩阵的弗罗贝尼乌斯范数； 分别用可学习关系查询计算视觉实体和修改动作的相似度分布；令表示实体令牌中第个令牌与可学习关系查询的相似度分布，其中表示如下： 其中，代表余弦相似度，代表第个实体令牌和可学习关系查询中的第个查询，为温度系数，表示三元组数目，表示可学习关系查询中的第e个查询；同理，得到动作令牌中每个令牌与可学习关系查询的每个查询之间的相似度分布，记为，其中，表示第i个动作令牌和第j个可学习关系查询的相似度； 计算两个相似度分布之间的KL散度损失函数，以绑定相应的实体与动作，表示如下： ， 其中，为KL散度损失函数，为KL散度，表示第i个目标图像令牌和第j个可学习关系查询的相似度，表示第i个动作令牌和各个可学习关系查询的相似度，表示第i个实体令牌和各个可学习关系查询的相似度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250100 山东省济南市历城区山大南路27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。