买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学技术大学申请的专利一种基于微调预训练大模型的音视频事件定位方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119475244B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411691581.8，技术领域涉及：G06F18/25；该发明授权一种基于微调预训练大模型的音视频事件定位方法是由黄隆焯;查正军;傅雪阳设计研发完成，并于2024-11-25向国家知识产权局提交的专利申请。

本一种基于微调预训练大模型的音视频事件定位方法在说明书摘要公布了：本发明公开了一种基于微调预训练大模型的音视频事件定位方法，包括：1获取视频数据，并将视频画面帧数据和音频数据分离；2通过预训练大模型的编码层分别对帧数据和音频数据进行特征提取；3通过查询提示词聚合单一模态内的特征，提取事件特征；4通过全局提示词提供下游任务的上下文信息，将音频特征和视频帧特征进行融合；5构建事件定位模块，将得到的特征转换为视频事件分类以及定位结果。本发明通过引入可学习的提示词，将预训练大模型的能力迁移到音视频事件定位任务中，从而在极低的可训练参数量条件下完成音视频事件定位任务。

本发明授权一种基于微调预训练大模型的音视频事件定位方法在权利要求书中公布了：1.一种基于微调预训练大模型的音视频事件定位方法，其特征在于，是按如下步骤进行： 步骤1、获取一条真实的视频数据V并划分为T个互不重合的音视频片段，记为{V’t,A’t|t=1,2,…,T}，其中，V’t表示第t个视频片段，A’t表示V’t对应的音频片段； 采样第t个视频片段V’t中的一帧图像，记为第t帧图像Vt； 将A’t转化为第t个二维音频频谱图At； 获取V的事件类别标签和定位标签，其中，其中，表示V是否属于第k个音视频事件类别的标签，且；C表示音视频片段的事件类别数量；表示V’t和A’t是否属于事件片段的定位标签； 步骤2、构建预训练大模型，包括：一个特征编码层和N个transformer层； 步骤2.1、所述特征编码层通过卷积层将Vt分为n个互不重合的图像块，并将每个图像块展平后再拼接，得到Vt的视觉模态特征表示； 所述特征编码层通过所述卷积层对At进行处理，得到At的音频模态特征表示； 步骤2.2、N个transformer层对音视频模态特征集{}进行处理，得到V的视觉模态特征表示序列和音频模态特征表示序列； 步骤2.2.1、初始化i=1； 步骤2.2.2、随机初始化第i个transformer层中用于视觉模态的待学习的查询提示词，从而利用式1得到第i个transformer层输出的第t个中间视觉模态特征表示及Vt中与音视频事件相关的事件线索； 1 式1中，表示第i个transformer层，表示第i-1个transformer层输出的Vt的视觉模态特征表示，当i=1时，令=，表示特征数量维度上的拼接操作； 步骤2.2.3、随机初始化第i个transformer层中用于音频模态的待学习的查询提示词，从而利用式2得到第i个transformer层输出的第t个中间音频模态特征表示及At中与音视频事件相关的事件线索； 2 式2中，表示第i-1个transformer层输出的At的音频模态特征表示，当i=1时，令=； 步骤2.2.4、随机初始化第i个transformer层中用于视觉模态的待学习的全局提示词，从而利用式3得到第i个transformer层输出的Vt的视觉模态特征表示、音频模态的中间查询提示词、视觉模态的中间全局提示词； 3 步骤2.2.5、随机初始化第i个transformer层中用于音频模态的待学习的全局提示词，从而利用式4得到第i个transformer层输出的At的音频模态特征表示、视觉模态的中间查询提示词、音频模态的中间全局提示词； 4 步骤2.2.6、将i+1赋值给i后，返回步骤2.2.2顺序执行，直到iN为止，从而得到Vt的第N个视觉模态特征表示和At的第N个音频模态特征表示，进而得到V的视觉模态特征表示序列和音频模态特征表示序列，其中，N表示transformer层的总层数； 步骤3构建事件定位模块，包括，视频事件类别分类器和事件相关性预测器，并分别对和在特征维度上拼接后的融合特征进行转换，相应得到V的事件类别预测标签以及事件片段的定位预测标签： 步骤4、基于和，和构建反向传播的总损失函数L： 步骤4.1、利用式8得到视频事件类别分类器的交叉熵损失函数值： 8 式8中，表示中属于第k个音视频事件类别的概率； 步骤4.2、利用式9得到事件相关性预测器的二分类交叉熵损失函数值： 9 式9中，表示中的第t个音视频片段V’t和A’t是否属于事件片段的预测概率； 步骤4.3、利用式10得到总损失函数L： 10 式10中，为平衡参数； 步骤5基于真实的视频事件标签对待学习的查询提示词和全局提示词以及事件定位模块进行训练，并计算总损失函数L，同时使用自适应矩估计优化方法以学习率来更新参数，直至L收敛为止，从而得到最优的音视频事件定位模型，用于对输入的音视频进行处理，得到视频中的事件定位结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。