买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉华南理工大学申请的专利一种基于Transformer与TCN的视频摘要方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118334547B 。

龙图腾网通过国家知识产权局官网在2025-11-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410322239.4，技术领域涉及：G06V20/40；该发明授权一种基于Transformer与TCN的视频摘要方法是由吴秋遐;许珉裴设计研发完成，并于2024-03-20向国家知识产权局提交的专利申请。

本一种基于Transformer与TCN的视频摘要方法在说明书摘要公布了：本发明公开了一种基于Transformer与TCN的视频摘要方法，包括：利用预训练卷积网络进行特征提取；使用时序卷积网络提取时序信息；以视频的空间特征序列与时序特征序列分别输入局部Transformer模块与全局Transformer模块，计算局部的帧间相关性与视频序列节点之间的长期依赖关系，并融合特征；预测每一帧的重要程度；对视频进行片段划分，计算每一个片段的重要程度，并挑选重要程度高的片段，生成动态摘要。以上的过程通过带标签的日常视频摘要数据集以有监督的方式训练视频摘要模型。本发明在时序建模的基础上强调视频摘要任务中的帧间相关性与视频长期依赖关系的提取分离，提升模型对于视频的理解能力。

本发明授权一种基于Transformer与TCN的视频摘要方法在权利要求书中公布了：1.一种基于Transformer与TCN的视频摘要方法，其特征在于，包括以下步骤： 步骤1、将视频帧序列输入预训练卷积网络模型进行特征提取，得到每一帧的空间特征序列S； 步骤2、以视频的空间特征序列S作为时序卷积网络的输入，输出视频的时序特征序列R； 步骤3、以视频的空间特征序列S与时序特征序列R作为局部Transformer模块的输入，计算局部的帧间相关性，并输出融入局部帧间相关性的时序特征序列Fl； 局部Transformer模块仅计算当前帧与局部邻域帧之间的注意力权重： MHl＝ConcatH1l,H2l,…,HMl Fl＝MHl+S 其中代表第m个head的value序列中的第i个节点对应的向量，代表第m个head的query序列中的第t个节点对应的向量，代表第m个head的key序列中的第i个节点对应的向量，nerbt代表邻域帧；HMl代表局部Transformer中第m个head的输出，hm,tl代表HMl的第t个节点对应的向量；MHl代表多头注意力机制的结果，Fl代表局部Transformer模块输出的结果，S代表空间特征序列； 步骤4、以视频的空间特征序列S与时序特征序列R作为全局Transformer模块的输入，计算全局视频序列节点之间的长期依赖关系，并输出融入长期依赖关系的时序特征序列Fg； 步骤3与步骤4中，以空间特征序列的线性变换作为query值送入局部Transformer模块与全局Transformer模块，以时序特征序列的线性变换作为key与value值送入局部Transformer模块与全局Transformer模块： 其中S代表空间特征序列，R代表时序特征序列，WmK、WmV、WmQ分别代表参数第m个head的key、value以及query项的映射矩阵，Km、Vm、Qm分别代表第m个head的key、value以及query； 全局Transformer模块仅计算当前帧与局部邻域以外其他帧之间的注意力权重： MHg＝ConcatH1g,H2g,…,HMg Fg＝MHg+S 其中代表第m个head的value序列中的第i个节点对应的向量，代表第m个head的query序列中的第t个节点对应的向量，代表第m个head的key序列中的第i个节点对应的向量，nerbt代表邻域帧，HMg代表全局Transformer中第m个head的输出，hm,tg代表HMg的第t个节点对应的向量，MHg代表多头注意力机制的结果，Fg代表全局Transformer模块输出的结果，S代表空间特征序列； 步骤5、将融入局部帧间相关性的时序特征序列Fl与融入长期依赖关系的时序特征序列Fg进行特征融合，并输入全连接网络，预测每一帧的重要程度； 步骤6、通过带标签的数据集，以有监督的方式训练以上的网络模型；将原始视频进行片段划分输入训练好的模型，计算每一个片段的重要程度，并挑选重要程度高的片段，生成动态摘要。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人华南理工大学，其通讯地址为：510640 广东省广州市天河区五山路381号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。