腾讯科技(深圳)有限公司李振阳获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉腾讯科技(深圳)有限公司申请的专利一种特征提取模型的训练方法、装置、设备以及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116089651B 。
龙图腾网通过国家知识产权局官网在2026-04-14发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111285254.9,技术领域涉及:G06F16/75;该发明授权一种特征提取模型的训练方法、装置、设备以及存储介质是由李振阳设计研发完成,并于2021-11-01向国家知识产权局提交的专利申请。
本一种特征提取模型的训练方法、装置、设备以及存储介质在说明书摘要公布了:本申请公开了一种基于人工智能技术实现的特征提取模型训练方法,包括:获取T组训练样本,其中,每组训练样本包括具有对应关系的文本信息样本和视频片段样本;针对于每组训练样本,通过待训练文本特征提取模型获取文本语义向量;针对于每组训练样本,通过待训练视觉特征提取模型获取视视觉语义向量;根据每组训练样本对应的文本语义向量和视觉语义向量确定正样本和负样本;根据正样本和负样本,对待训练文本特征提取模型和视觉特征提取模型进行训练。本申请实施例还提供了相关装置、设备和存储介质。本申请通过对比正样本和负样本进行模型训练,能够实现自监督多模态视频特征的提取,因此,无需人工标注训练集,从而降低了模型训练成本。
本发明授权一种特征提取模型的训练方法、装置、设备以及存储介质在权利要求书中公布了:1.一种特征提取模型的训练方法,其特征在于,包括: 获取T组训练样本,其中,每组训练样本包括具有对应关系的文本信息样本以及视频片段样本,所述T为大于1的整数;其中包括:获取视频样本;对所述视频样本中的每个视频帧进行光学字符识别OCR处理,得到所述每个视频帧的文本识别结果;若所述视频样本中存在属于相同文本识别结果的连续视频帧,则将所述连续视频帧作为一组训练样本所包括的视频片段样本,并将所述相同文本识别结果作为所述一组训练样本所包括的文本信息样本,或者获取视频样本以及所述视频样本对应的字幕文件,其中,所述字幕文件包括字幕信息、所述字幕信息对应的起始帧以及所述字幕信息对应的结束帧;根据所述字幕文件,将所述字幕信息作为一组训练样本所包括的文本信息样本,并将从所述起始帧至所述结束帧构成的连续视频帧作为一组训练样本所包括的视频片段样本; 针对于所述每组训练样本,通过待训练文本特征提取模型获取所述文本信息样本所对应的文本语义向量; 针对于所述每组训练样本,通过待训练视觉特征提取模型获取所述视频片段样本所对应的视觉语义向量; 根据所述每组训练样本对应的文本语义向量以及视觉语义向量,确定至少一组正样本以及至少一组负样本,其中,每组正样本包括同组训练样本对应的文本语义向量以及视觉语义向量,每组负样本对包括不同组训练样本对应的文本语义向量以及视觉语义向量; 根据所述至少一组正样本以及所述至少一组负样本,采用对比学习损失函数计算得到损失结果,利用所述损失结果进行反向梯度传播,对所述待训练文本特征提取模型的模型参数以及所述视觉特征提取模型的模型参数进行更新,直至满足模型训练条件,得到文本特征提取模型以及视觉特征提取模型; 所述通过待训练文本特征提取模型获取所述文本信息样本所对应的文本语义向量,包括: 根据所述文本信息样本获取文本序列样本; 基于所述文本序列样本,通过所述待训练文本特征提取模型获取所述文本语义向量; 通过待训练视觉特征提取模型获取所述视频片段样本所对应的视觉语义向量,包括: 获取所述文本信息样本所对应的文本单元数量; 根据所述文本单元数量,从所述视频片段样本中获取视频帧集合,其中,所述视频帧集合包括的视频帧的数量与所述文本单元数量相等; 对所述视频帧集合中的每个视频帧进行特征提取处理,得到至少一个三维视频帧特征,其中,所述三维视频帧特征与所述视频帧具有一一对应关系; 对所述至少一个三维视频帧特征中的每个三维视频帧特征进行特征转换,得到至少一个二维视频帧特征,其中,所述二维视频帧特征与所述三维视频帧特征具有一一对应关系; 对所述至少一个二维视频帧特征中的每个二维视频帧特征进行位置编码处理,得到至少一个视频帧特征,其中,所述视频帧特征与所述二维视频帧特征具有一一对应关系; 根据所述至少一个视频帧特征生成视频序列样本; 基于所述视频序列样本,通过所述待训练视觉特征提取模型获取所述视觉语义向量。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人腾讯科技(深圳)有限公司,其通讯地址为:518057 广东省深圳市南山区高新区科技中一路腾讯大厦35层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励