买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜天津理工大学申请的专利基于实例分割辅助信息的多模态海洋场景视频描述算法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116778382B 。

龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310727600.7，技术领域涉及：G06V20/40；该发明授权基于实例分割辅助信息的多模态海洋场景视频描述算法是由赵萌;陈薪宇;张蒙恩设计研发完成，并于2023-06-19向国家知识产权局提交的专利申请。

本基于实例分割辅助信息的多模态海洋场景视频描述算法在说明书摘要公布了：本发明提出了一种基于实例分割辅助信息的多模态海洋场景视频描述算法，该方法首先使用特征提取器对视频文本两个模态数据进行特征提取，将两个模态的特征送入多模态交互编码器进行融合、交互、和对齐后得到多模态全局信息特征，同时使用实例分割网络将视频中的前景主体信息和背景信息分割，制作辅助信息字典，对其进行特征提取得到辅助信息特征，多模态全局信息特征和辅助信息特征对比学习后送入语言解码器进行解码，生成描述语句。通过提取海洋视频的多模态全局语义信息和辅助语义信息，加强网络对于视频的理解和认知，增强视频文本之间的关联，促使生成的描述语句涵盖海洋场景视频中的全部内容，并且描述具有高质量、高流畅度的特性。

本发明授权基于实例分割辅助信息的多模态海洋场景视频描述算法在权利要求书中公布了：1.一种基于实例分割辅助信息的多模态海洋场景视频描述方法，其特征在于，包括如下步骤：1设计并制作海洋场景视频描述数据集和图像数据集，分别包含1000个海洋视频和5000张海洋图像，视频数据集中每个视频对应5句文本标签，文本标签描述了视频中的内容，图像数据集是对视频数据集中每个视频采样5帧制作而成；2SegmentAnything是一个实例分割工具，用于提取海洋图像集的特征，有助于得到更加丰富的视觉信息，辅助描述的生成，使用SegmentAnything网络分割海洋图像中的前景实例和背景信息，将前景信息和背景信息记录并写入辅助信息字典，将辅助信息字典的内容送入文本编码器，得到辅助信息特征；3分别使用Video-Swin-Transformer视频特征提取器和Bert文本特征提取器对视频数据和文本标签数据进行特征提取；4将视频特征和文本标签特征融合，送入到单流的多模态交互编码器中，在交互编码器中视频特征和文本特征完成语义对齐任务、文本掩码任务、视频帧掩码任务，并得到多模态全局信息特征；5实现基于对比学习的多模态全局信息特征和辅助信息特征双流联合视频描述算法，将多模态全局信息特征和辅助信息特征进行联合对比学习，交互融合双流特征，送入语言解码器；6语言解码器是一个自回归的解码器，用于将双流特征转换为人类理解的自然语言，语言解码器对融合后的双流特征进行解码，得到描述语句，得到的描述语句和标注的文本标签计算损失，并完成语言重建任务，不断优化文本描述能力和效果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津理工大学，其通讯地址为：300384 天津市西青区宾水西道391号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。