之江实验室;中国科学院信息工程研究所王蕊获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉之江实验室;中国科学院信息工程研究所申请的专利一种基于交替迭代优化的场景图生成装置和方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115439729B 。
龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210944619.2,技术领域涉及:G06V10/82;该发明授权一种基于交替迭代优化的场景图生成装置和方法是由王蕊;童学智;李太豪;裴冠雄设计研发完成,并于2022-08-08向国家知识产权局提交的专利申请。
本一种基于交替迭代优化的场景图生成装置和方法在说明书摘要公布了:本发明属于计算机视觉技术领域,公开了一种基于交替迭代优化的场景图生成装置和方法,包括图像物体检测模块、场景图物体识别模块和场景图关系识别模块。该方法通过设计关系敏感的消息传递网络,充分利用图像中的上下文信息优化物体特征,并交替迭代优化模型的物体识别与关系识别能力,实现高精度场景图生成。相比传统方法,该方法解决了上下文信息缺失的问题并缓解了模型架构的错误传递问题。同时,由于避免了对物体与物体、物体与关系的共同出现频率的统计信息的利用,降低了模型训练后对特定数据集的依赖性。综上所述,对于自然场景图像,本发明通过对上下文的充分利用与对模型中不同部分的交替迭代优化,生成高精度的场景图预测结果。
本发明授权一种基于交替迭代优化的场景图生成装置和方法在权利要求书中公布了:1.一种基于交替迭代优化的场景图生成装置的场景图生成方法,所述基于交替迭代优化的场景图生成装置包括图像物体检测模块、场景图物体识别模块和场景图关系识别模块; 所述图像物体检测模块,负责定位输入图像中物体的包围盒,并提取包围盒对应的物体视觉特征; 所述场景图物体识别模块,负责基于场景图关系识别模块的输出,对图像物体检测模块输出的包围盒进行识别,得出对应的物体类别; 所述场景图关系识别模块,负责根据场景图物体识别模块的输出提取文本特征,并结合物体视觉特征及空间特征,对物体间的关系进行识别; 其特征在于,所述场景图生成方法,包括训练阶段和测试阶段,所述训练阶段的步骤如下: 步骤1:整理数据集:使用带有场景图标注的自然场景图像为训练数据; 步骤2:构造训练网络: 步骤2.1:物体识别模块采用关系敏感的消息传递网络,针对不同类别的关系训练不同的转换矩阵,并对转换后的邻结点消息进行聚合,用以更新当前节点的特征;具体公式如下: 其中xi、zi分别为更新前后的节点特征,Wt1、Wt2为所有节点共享的两个转换矩阵,Wri,j为一组与关系类别对应的转换矩阵,б表示非线性函数,LN代表横向规范化,Ni为节点i的邻域;同时,对于输入场景图中的每条边,学习一个反向的转换矩阵,因此,对于数据集中共50类关系,该模块共训练100种不同的转换矩阵,以充分利用关系约束监督消息传递; 步骤2.2:关系识别模块通过结合物体特征、空间特征及物体分类的文本特征,对两者间的关系进行识别;具体公式如下: pri,j=FC[f1xs,xu,xo,f2gs,go] 其中Pri,j表示节点i与节点j间关系的预测概率分布,FC为两层全连接层,f1和f2分别为两个不同的长短期记忆神经网络,s、u、o分别代表主语物体、包围两物体最小包围盒区域以及宾语物体,x和g分别代表视觉特征和文本特征; 步骤3:使用网络进行训练:在正式进行模型训练前,首先使用预训练好的文本特征提取模型提取图像标注集中的物体、关系类别的文本特征,以备后续训练使用;同时,对于在外部数据集上预训练的物体检测器模型,在场景图数据集上进行微调训练,以获取最优的物体检测效果; 步骤4:交替进行步骤2数次,并结合物体识别、关系识别的结果,得出图像对应的场景图。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人之江实验室;中国科学院信息工程研究所,其通讯地址为:311100 浙江省杭州市余杭区中泰街道之江实验室南湖总部;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励