买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国科学院上海高等研究院申请的专利基于上下文推理的图像描述模型训练方法及图像描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115578726B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211106022.7，技术领域涉及：G06V20/70；该发明授权基于上下文推理的图像描述模型训练方法及图像描述方法是由黄俊;王晓艺;魏鑫燏设计研发完成，并于2022-09-09向国家知识产权局提交的专利申请。

本基于上下文推理的图像描述模型训练方法及图像描述方法在说明书摘要公布了：本发明提供基于上下文推理的图像描述模型训练方法及图像描述方法，其中，该模型训练方法包括：获取当前训练数据中的图像数据的图像区域特征和文本数据；对所述文本数据中的各单词，分别执行结合语义对齐的上下文推理过程，以获得各单词对应的语义推理信息和语义对齐偏差；获取当前文本数据的交叉熵损失和语义对齐损失，以基于交叉熵损失和语义对齐损失，对所述图像描述模型进行优化；更新所述训练数据和对应的所述语义标签信息，以基于更新后的所述训练数据和对应的所述语义标签信息重复执行以上步骤直至退出，以获取训练后的所述图像描述模型，从而可以增强模型推理能力，提高模型理解多模态语义的准确性。

本发明授权基于上下文推理的图像描述模型训练方法及图像描述方法在权利要求书中公布了：1.一种基于上下文推理的图像描述模型训练方法，其特征在于，基于各组训练数据和与所述训练数据对应的语义标签信息，对图像描述模型执行模型训练过程，以获得训练后的图像描述模型；其中，所述训练数据包括图像数据和与图像数据关联的文本数据；所述文本数据中包括预先标定的各单词；所述图像描述模型包括隐藏状态特征记忆池和视觉注意力特征记忆池； 所述训练过程包括： 获取当前训练数据中的所述图像数据，提取所述图像数据的图像区域特征； 获取当前训练数据中的所述文本数据；对所述文本数据中的各单词，分别执行结合语义对齐的上下文推理过程，以获得各单词对应的语义推理信息和语义对齐偏差； 基于各单词对应的所述语义推理信息和当前图像的语义标签信息，构建当前文本数据的交叉熵损失；基于各单词对应的所述语义对齐偏差，获取所述当前文本数据的语义对齐损失； 基于所述交叉熵损失和所述语义对齐损失，获取当前文本数据的模型总损失，以基于所述模型总损失，对所述图像描述模型进行优化； 更新所述训练数据和对应的所述语义标签信息，以基于更新后的所述训练数据和对应的所述语义标签信息重复执行以上步骤； 其中，单次所述结合语义对齐的上下文推理过程，包括： 获取当前单词的隐藏状态特征和视觉注意力特征； 基于当前单词的所述隐藏状态特征和所述视觉注意力特征，对应更新所述隐藏状态特征记忆池和所述视觉注意力特征记忆池，以分别获得当前的隐藏状态特征序列和当前的视觉注意力特征序列； 基于所述当前的隐藏状态特征序列和所述当前的视觉注意力特征序列，对应获取当前单词的隐藏状态语义特征和视觉语义特征；对所述隐藏状态语义特征和所述视觉语义特征执行语义对齐，获得当前单词的语义对齐偏差； 基于当前单词的视觉注意力特征和语义特征，获取当前单词的语义推理特征；具体地，所述当前单词的语义特征包括当前单词的所述隐藏状态特征；将当前单词的所述视觉注意力特征和所述隐藏状态特征输入到门控线性单元以计算输出当前单词的语义推理特征； 基于当前单词的所述语义推理特征，在预设的语义表中确定关联度最高的语义信息，作为所述当前单词的语义推理信息。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院上海高等研究院，其通讯地址为：201210 上海市浦东新区海科路99号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。