买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利基于多模态交互和时间语义聚合的视频描述方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115512265B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211174007.6，技术领域涉及：G06V20/40；该发明授权基于多模态交互和时间语义聚合的视频描述方法及系统是由常发亮;李敏;刘春生;王彬;常致富设计研发完成，并于2022-09-26向国家知识产权局提交的专利申请。

本基于多模态交互和时间语义聚合的视频描述方法及系统在说明书摘要公布了：本发明公开了基于多模态交互和时间语义聚合的视频描述方法及系统；其中所述方法，包括：获取待描述的视频；从待描述视频中提取多模态特征；所述多模态特征，包括：外观特征、运动特征和对象特征；从多模态特征中提取语义特征；将提取的多模态特征和语义特征，均输入到训练后的视频描述网络中，输出视频的自然语言描述结果；所述训练后的视频描述网络是基于多模态信息交互和时间语义聚合的视频描述网络；其中，训练后的视频描述网络，其工作原理包括：采用多模态交互模块，将运动特征和对象特征分别集成到外观特征中，形成多模态交互特征；采用带有时间语义聚合的层级解码器，对语义特征和多模态交互特征进行处理，生成视频描述语言。

本发明授权基于多模态交互和时间语义聚合的视频描述方法及系统在权利要求书中公布了：1.基于多模态交互和时间语义聚合的视频描述方法，其特征是，包括： 获取待描述的视频； 从待描述视频中提取多模态特征；所述多模态特征，包括：外观特征、运动特征和对象特征； 从多模态特征中提取语义特征； 将提取的多模态特征和语义特征，均输入到训练后的视频描述网络中，输出视频的自然语言描述结果；所述训练后的视频描述网络是基于多模态信息交互和时间语义聚合的视频描述网络； 所述训练后的视频描述网络，其网络结构包括： 相互连接的多模态交互模块和带有时间语义聚合的层级解码器； 所述多模态交互模块，将外观特征与运动特征的交互特征，和外观特征与对象特征的交互特征，进行相加，得到多模态交互特征； 其中，训练后的视频描述网络，其工作原理包括：采用多模态交互模块，将运动特征和对象特征分别集成到外观特征中，形成多模态交互特征；采用带有时间语义聚合的层级解码器，对语义特征和多模态交互特征进行处理，生成视频描述语言； 所述带有时间语义聚合的层级解码器，其网络结构包括： 依次连接的词嵌入层、注意力LSTM网络、视觉时间语义聚合层、语言LSTM网络、语言时间语义聚合层、Softmax激活函数层； 注意力LSTM网络的输入端与平均池化层的输出端连接，平均池化层的输入端用于输入多模态交互特征；视觉时间语义聚合层的输入端用于输入多模态交互特征和语义特征；语言时间语义聚合层的输入端用于输入语义特征； 注意力LSTM网络的输出端还与语言LSTM网络的输入端连接； 所述视觉时间语义聚合层，生成聚合当前时刻最相关的视觉时间特征，聚合最相关的语义特征；所述视觉时间语义聚合层，用于对与当前生成单词最相关的多模态交互特征进行聚合； 所述语言时间语义聚合层，用于对当前时刻以及之前所生成的所有语言特征进行处理，以聚合与当前生成单词最相关的语言特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250061 山东省济南市历下区经十路17923号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。