买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉内蒙古大学申请的专利基于跨模态上下文序列转导的连续手语识别方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116978122B 。

龙图腾网通过国家知识产权局官网在2025-09-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310924979.0，技术领域涉及：G06V40/20；该发明授权基于跨模态上下文序列转导的连续手语识别方法和装置是由张怀文;郭子航;高嘉怿设计研发完成，并于2023-07-25向国家知识产权局提交的专利申请。

本基于跨模态上下文序列转导的连续手语识别方法和装置在说明书摘要公布了：本发明提供一种基于跨模态上下文序列转导的连续手语识别方法和装置，该方法包括：获取待识别的手语视频；将手语视频输入至手语识别模型中，得到手语视频对应的Gloss语言序列；手语识别模型是基于Gloss语言特征与手语视频特征的融合特征训练得到的。本发明的方法将Gloss语言序列先验知识融合到视觉表示中，从而实现更好的手语语义建模，也就使得训练后的手语识别模型可以基于手语视频特征，可以更加准确高效地进行手语的识别，提升了手语识别的准确性。

本发明授权基于跨模态上下文序列转导的连续手语识别方法和装置在权利要求书中公布了：1.一种基于跨模态上下文序列转导的连续手语识别方法，其特征在于，包括： 获取待识别的手语视频； 将所述手语视频输入至手语识别模型中，得到所述手语视频对应的Gloss语言序列；所述手语识别模型是基于Gloss语言特征与手语视频特征的融合特征训练得到的；所述手语识别模型是基于如下方式进行训练的： 将手语视频样本对应的视频帧特征输入手语视频局部时序特征提取模块，得到手语视频样本对应的手语视频局部时序特征； 将手语视频局部时序特征输入手语视频全局时序特征提取模块，得到手语视频样本对应的手语视频全局时序特征； 将数据集样本中手语视频的标注信息输入至Gloss语言特征提取层，得到Gloss语言特征； 将第1个至第S-1个Gloss语言特征分别与手语视频样本对应的第S个手语视频局部时序特征和第S个手语视频全局时序特征进行融合，得到目标融合特征； 通过动态规划算法规划目标融合特征至各个候选Gloss语言序列的对齐路径；确定目标融合特征至各个候选Gloss语言序列的对齐路径的概率之和； 基于目标损失函数对所述手语识别模型训练，使得所述目标融合特征至各个候选Gloss语言序列的对齐路径的概率之和达到预设条件；所述目标损失函数基于如下公式确定： 其中，表示目标损失函数；pZ∣J表示目标融合特征J转导为对齐路径Z的条件依赖概率；STCZ,Y表示真实标注与对齐路径之间的编辑距离； 利用如下公式建模目标融合特征J转导为对齐路径Z的条件依赖概率： 其中，pZ∣J表示目标融合特征J转导为对齐路径Z的条件依赖概率；J表示目标融合特征；PZs∣Zs,J表示根据目标融合特征J和第1个至第S-1个Gloss得到对齐路径中第S个Gloss的概率。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人内蒙古大学，其通讯地址为：010021 内蒙古自治区呼和浩特市赛罕区大学西路235号内蒙古大学；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。