买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉亚信科技(中国)有限公司申请的专利基于跨模态标记融合的多模态图片理解方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120611154B 。

龙图腾网通过国家知识产权局官网在2025-12-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511108054.4，技术领域涉及：G06F18/20；该发明授权基于跨模态标记融合的多模态图片理解方法及装置是由王怀照;杨秀武;欧阳晔设计研发完成，并于2025-08-08向国家知识产权局提交的专利申请。

本基于跨模态标记融合的多模态图片理解方法及装置在说明书摘要公布了：本公开实施例公开了一种基于跨模态标记融合的多模态图片理解方法及装置，涉及人工智能技术领域，该方法包括：获得多模态图片包括的图像和文本；将图像输入至图像编码器，得到至少一个图像特征，基于至少一个图像特征，确定第一视觉token；以及使用文本分词器获取文本包括的第一文本token；基于第一视觉token和第一文本token，得到第二视觉token；将第二视觉token和第一文本token合并后输入至预设的大语言模型，对多模态图片进行理解。本公开实施例使用文本token集的加权组合来表征视觉token，并采用交叉注意力权重融合多种模态标记的语义表达，有效提高了对多模态图片的理解。

本发明授权基于跨模态标记融合的多模态图片理解方法及装置在权利要求书中公布了：1.一种基于跨模态标记融合的多模态图片理解方法，其特征在于，所述方法包括： 获得多模态图片包括的图像和文本； 将所述图像输入至图像编码器，得到至少一个图像特征，基于所述至少一个图像特征，确定第一视觉token；以及，使用文本分词器获取所述文本包括的第一文本token； 基于所述第一视觉token和所述第一文本token，得到第二视觉token；其中，所述第二视觉token包括加权组合视觉token分量和注意力视觉token分量；所述加权组合视觉token分量由文本token集中第二文本token加权求和确定的，所述第二文本token是指从文本token集中筛选出的、与所述第一视觉token关联最紧密的文本token；所述注意力视觉token分量由所述第一视觉token和所述第一文本token通过交叉注意力计算确定的； 将所述第二视觉token和所述第一文本token合并后输入至预设的大语言模型中，对所述多模态图片进行理解； 所述加权组合视觉token分量的计算公式如下所示： 其中，为第二文本token的权重；为文本token集；为归一化指数函数，用于将第二文本token的分量进行归一化，输出对应的概率值作为第二文本token的权重；为第二预设矩阵，用于将视觉token转换为文本token集的权重矩阵；为权重矩阵，负责将第一视觉token的维度和文本token集中文本token的维度对齐；为第三视觉token；V为文本token集的大小；D为文本token集的维度。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人亚信科技(中国)有限公司，其通讯地址为：100193 北京市海淀区西北旺东路10号院东区19号楼1层101；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。