买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种对比语义查询的多模态装配动作识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120997911B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511527464.2，技术领域涉及：G06V40/20；该发明授权一种对比语义查询的多模态装配动作识别方法是由刘振宇;高奇;撒国栋;裘辿;谭建荣设计研发完成，并于2025-10-24向国家知识产权局提交的专利申请。

本一种对比语义查询的多模态装配动作识别方法在说明书摘要公布了：本申请公开了一种对比语义查询的多模态装配动作识别方法，涉及人机协作装配技术领域，该方法包括：通过在装配工作台布设视觉传感器获取操作员动作视频，经随机帧采样得到采样帧序列、人体姿态估计得到骨骼序列，输入装配动作识别模型完成识别。该模型含图像编码、骨骼编码、特征融合、文本编码及语义对比模块，分别提取图像与骨骼特征、融合特征、编码预设类别文本描述、对比动作特征与类别文本特征并输出相似度最高结果，训练时采用对比损失函数。此方法融合多模态信息，解决单一模态局限与多模态语义割裂问题，充分利用类别文本语义，提升细粒度动作识别精度，降低过拟合风险，增强模型在动态工业场景的泛化与任务迁移能力。

本发明授权一种对比语义查询的多模态装配动作识别方法在权利要求书中公布了：1.一种对比语义查询的多模态装配动作识别方法，其特征在于，包括： 在装配工作台上方布设视觉传感器，获取人类操作员执行动作时的视频数据； 对所述视频数据进行随机帧采样，得到采样帧序列数据； 对所述视频数据进行人体姿态估计，得到人体骨骼序列数据； 将所述采样帧序列数据和所述人体骨骼序列数据输入到训练好的装配动作识别模型中进行特征提取以及语义对比查询，得到装配动作识别结果；所述装配动作识别模型包括图像编码模块、骨骼编码模块、特征融合模块、文本编码模块和语义对比模块；所述图像编码模块用于对所述采样帧序列数据进行特征提取，得到图像特征；所述骨骼编码模块用于对所述人体骨骼序列数据进行特征提取，得到骨骼特征；所述特征融合模块用于将所述图像特征和所述骨骼特征融合为动作特征；所述文本编码模块用于对各装配动作预设的类别文本描述进行文本编码，得到若干个类别文本特征；所述语义对比模块用于将所述动作特征与每个类别文本特征分别进行语义对比，并输出相似度最高的类别文本描述作为装配动作识别结果；在对所述装配动作识别模型进行训练时，利用对比损失函数训练模型；对比损失函数包含对称的动作到文本方向和文本到动作方向的损失项，动作到文本方向的损失项如下式所示： ； 其中，为动作到文本方向的损失项，和分别为文本特征和动作特征，，B为训练时Batch的大小，sim,为余弦相似度函数，τ为温度参数，用于控制分布的锐度； 文本到动作方向的损失项如下式所示： ； 其中，为文本到动作方向的损失项； 所述对比损失函数如下式所示： ； 其中，Lcontrast为对比损失函数值。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。