买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉小哆智能科技(北京)有限公司申请的专利一种多模态操作指令的语义表示方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120071046B 。

龙图腾网通过国家知识产权局官网在2026-02-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510159680.X，技术领域涉及：G06V10/774；该发明授权一种多模态操作指令的语义表示方法及系统是由潘航设计研发完成，并于2025-02-13向国家知识产权局提交的专利申请。

本一种多模态操作指令的语义表示方法及系统在说明书摘要公布了：本发明提供了一种多模态操作指令的语义表示方法及系统，涉及语义表示技术领域，包括：根据多模态指令数据的特性得到不同模态的指令特征；根据用户意图的抽象描述确定语义标签；根据不同模态的指令特征与语义标签输入至WSABIE模型进行训练，以确定不同模态的指令特征与语义标签的最优映射关系；基于最优映射关系，对不同模态的指令特征与语义标签的相关性进行量化评估，以在语义层面精确解析多模态指令数据，得到多模态指令数据的语义表示。本发明通过多模态特征提取、语义标签生成、基于WSABIE模型的语义映射以及相关性量化评估，成功实现了多模态指令的语义对齐和精确解析，具有高精度、高适应性、高效率的优点。

本发明授权一种多模态操作指令的语义表示方法及系统在权利要求书中公布了：1.一种多模态操作指令的语义表示方法，其特征在于，包括： 根据多模态指令数据的特性得到不同模态的指令特征； 根据用户意图的抽象描述确定语义标签； 根据所述不同模态的指令特征与所述语义标签输入至WSABIE模型进行训练，以确定所述不同模态的指令特征与所述语义标签的最优映射关系； 基于最优映射关系，对所述不同模态的指令特征与语义标签的相关性进行量化评估，以在语义层面精确解析多模态指令数据，得到所述多模态指令数据的语义表示； 所述语义标签的表达式为： 其中，S为所述语义标签，EmbedIntent为通过自然语言处理技术对用户的语音或文字输入进行解析，提取到的意图关键词；Ci为上下文的第i个特征，γi为第i个特征的权重，n为特征的个数，Action为通过多模态指令数据表达的具体操作，Action是通过CNN网络进行特征提取得到的结果；Object为基于图像的目标检测算法得到的检测结果，β1、β2和β3分别为动态权重，β1、β2和β3的总和为1； 基于最优映射关系，对所述不同模态的指令特征与语义标签的相关性进行量化评估，以在语义层面精确解析多模态指令数据，得到所述多模态指令数据的语义表示，包括： 根据互信息计算方法确定所述指令特征与所述语义标签的相关性；所述相关性MIF,S的表达式为：其中，Pf,s：指令特征F和语义标签S的联合概率分布，Pf为指令特征F的边际概率分布，Ps为语义标签S的边际概率分布； 根据深度学习中的注意力机制自动学习不同所述指令特征对所述语义标签的重要性权重；所述注意力机制的表达式为：其中，ei＝ScoreFi,S＝Wa·Fi⊙S+ba，ei表示第i个特征Fi与语义标签S的相关性得分；αi为第i个特征的重要性权重，归一化后满足Wa和ba表示注意力机制的可训练参数；⊙为逐元素乘积； 根据所述相关性和所述重要性权重确定所述多模态指令数据的语义表示。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人小哆智能科技(北京)有限公司，其通讯地址为：100089 北京市海淀区西北旺东路10号院东区23号楼三层346室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。