买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于Transformer进行音视频联合场景分类方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116778289B 。

龙图腾网通过国家知识产权局官网在2025-12-09发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310726446.1，技术领域涉及：G06V10/80；该发明授权一种基于Transformer进行音视频联合场景分类方法及系统是由邵曦;张鹏程;潘超凡;朱俊屹;王恬;陈雯瑶设计研发完成，并于2023-06-19向国家知识产权局提交的专利申请。

本一种基于Transformer进行音视频联合场景分类方法及系统在说明书摘要公布了：本发明属于深度学习技术领域，具体涉及一种用于分类的Transformer网络模型，公开了一种基于Transformer进行音视频联合场景分类方法包括，通过利用Transformer单元对嘈杂的音频、视频和音视频分别进行早期融合和特征提取；对融合后的特征表示利用EfficientNetV2_S单元进行视频侧的预训练网络；通过利用分类单元进行音频特征、视频特征以及音视频联合特征三者加权求和所得的特征输入到分类器中进行场景分类。本发明提出了将原本的注意力机制替换为Transformer结构，将原本的预训练模型从ResNet50替换为EfficientNetV2_S，提高了分类的准确度，通过Transformer单元的运用提高了场景分类的准确率，提升了多模态之间的关联性。

本发明授权一种基于Transformer进行音视频联合场景分类方法及系统在权利要求书中公布了：1.一种基于Transformer进行音视频联合场景分类方法，其特征在于：包括，通过利用Transformer单元分为Encoder层面和Decoder层面分别对嘈杂的音频、视频和音视频分别进行早期融合和特征提取； 对融合后的特征表示利用EfficientNetV2_S单元进行视频侧的预训练网络； 通过利用分类单元进行音频特征、视频特征以及音视频联合特征加权求和所得的特征输入到分类器中进行场景分类； 所述Transformer单元包括，对嘈杂的音频和视频分别进行特征提取，在对提取的特征进行早期融合之后再次利用transformer单元进行深层的特征提取； 所述的音频、视频和音视频特征提取包括，通过OpenL3网络获取音频隐层向量、经过EfficientNetV2_S预训练网络获取视频特征向量以及音视频向量拼接后的多模态特征向量输入到Transformer单元中后先进入到Multi‑HeadAttention部分； 所述EfficientNetV2_S单元包括，具体步骤如下，首先，进行视频侧的预训练网络，其次，将预训练网络为Stage0到Stage7，Operator表示在当前Stage中使用的模块，首先接收视频侧数据并输入到Stage0，得到第一帧图像的特征表示T0，将T0通过Stage1中的Operator进行处理，得到第一帧图像的高层次特征表示T1，将T1通过Stage2中的Operator进行处理，有更多输出通道数得到第一帧图像更高层次的特征表示T2，对于接下来的每一帧图像，通过Stage3至Stage7中的Operator进行依次处理，得到不同抽象级别T3‑T7的特征表示，最后，将每个步距Stride的T0～T7拼接在一起，得到一个三维张量，第一维为时间步长，后两维为特征表示，将三维张量送入Transformer序列模型中进行处理，将Softmax层得到的输出结果OutputProbabilities送入Classificationlayer分类单元进行分类。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210003 江苏省南京市新模范马路66号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。