东北大学孟琭获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东北大学申请的专利一种基于注意力增强多模态特征的视频拷贝检测方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116524403B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310481888.4,技术领域涉及:G06V20/40;该发明授权一种基于注意力增强多模态特征的视频拷贝检测方法是由孟琭;李思曈设计研发完成,并于2023-04-28向国家知识产权局提交的专利申请。
本一种基于注意力增强多模态特征的视频拷贝检测方法在说明书摘要公布了:本发明提供一种基于注意力增强多模态特征的视频拷贝检测方法,包括:提取视频数据中的帧图像特征和音频特征;对提取的帧图像特征和音频特征进行自注意力增强以及交叉注意力增强,获取特征中隐藏的长程依赖信息;利用多模态因子分解双线性池化层对增强后的帧图像特征和音频特征进行特征融合;利用局部特征匹配网络生成查询视频和拷贝视频的相似性矩阵;利用检测到的视频拷贝区域和标签真值之间在相似性矩阵上的差异构成训练损失,以数据驱动的方式进行神经网络的学习。本发明不仅提取速度更快且融合了多模态信息,应对复杂变换的拷贝视频,都能进行准确检测,可以更好的指导诸如视频检索、视频动作理解、视频拷贝等下游任务,具有鲁棒性高的特点。
本发明授权一种基于注意力增强多模态特征的视频拷贝检测方法在权利要求书中公布了:1.一种基于注意力增强多模态特征的视频拷贝检测方法,其特征在于,包括: 提取视频数据中的帧图像特征和音频特征; 对提取的帧图像特征和音频特征进行自注意力增强以及交叉注意力增强,获取特征中隐藏的长程依赖信息; 利用多模态因子分解双线性池化层对增强后的帧图像特征和音频特征进行特征融合; 利用局部特征匹配网络生成查询视频和拷贝视频的相似性矩阵;所述相似性矩阵的长和宽分别为查询视频和拷贝视频的秒数,所述相似性矩阵包含拷贝的片段对之间特定的侵权模式,具有开始和结束时间戳的4维复制片段对被公式化为在相似性映射中具有左上和右下坐标的边界框; 利用检测到的视频拷贝区域和标签真值之间在相似性矩阵上的差异构成训练损失,以数据驱动的方式进行神经网络的学习,包括: 将真值标记的拷贝片段的时间边界在相似性矩阵上表示为边界框坐标; 定位所有复制的片段对的任务视为所述相似性矩阵上的对象检测任务; 基于yolo对象检测网络,在查询视频和拷贝视频生成的相似性矩阵上,对体现拷贝关系的边界框进行目标检测,检测相似性图上的视频对之间特定的相似性模式; 计算检测得到的具有左上和右下坐标的边界框和真值标记的边界框之间的回归损失,将回归损失作为训练损失输入至网络模型进行训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东北大学,其通讯地址为:110819 辽宁省沈阳市和平区文化路三巷11号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励