买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种联合问答的图像自然语言描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115512191B 。

龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211150406.9，技术领域涉及：G06V10/778；该发明授权一种联合问答的图像自然语言描述方法是由卫志华;刘官明;张恒设计研发完成，并于2022-09-21向国家知识产权局提交的专利申请。

本一种联合问答的图像自然语言描述方法在说明书摘要公布了：一种联合问答的图像自然语言描述方法，包括三个步骤：步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图；步骤二，问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题；步骤三，联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该模型通过训练，能生成问题相关的长文本回答，作为图像内容的精细化语义描述。

本发明授权一种联合问答的图像自然语言描述方法在权利要求书中公布了：1.一种联合问答的图像自然语言描述方法，其特征在于，包括三个步骤： 步骤一，首先使用图像分割模型对图像目标和图像背景的特征进行提取，得到像素级的不同类别的划分，获取目标和背景的分割特征图； 步骤二，以LSTM模型为基础的问题生成模块通过构建隐式的场景类型表征，产生包含关注目标信息的关系特征图，多粒度地生成若干个语义相关的引导问题； 步骤三，以BUTD模型为基础的联合问答模块引入对比学习的损失函数，对关系特征图和引导问题进行联合多模态嵌入表征，该BUTD模型通过训练，基于所述联合多模态嵌入表征，生成问题相关的长文本回答，作为图像内容的精细化语义描述； 其中步骤二问题生成具体包括： 2.1对数据集问题范畴进行分类，不同的问题范畴多角度地看待目标及其之间的联系，同一图像的多个问题范畴不仅关注着不同的目标，也关注着相同目标不同尺度的图像区域；同时，对数据集的回答和问题做合并处理，生成一句完整的自然语言描述； 2.2使用深度学习方法对步骤2.1处理后的视觉问题生成数据集进行训练，构造问题生成神经网络模型； 构建残差连接的多层感知机MLP神经网络，以包含类别信息的分割特征图为输入，输出包含主要关注目标信息的关系特征图，用来指导后续的问题生成； 多层感知机神经网络包括三层：输入层、隐藏层和输出层，多层感知机神经网络不同层之间是全连接的，隐藏层通过训练构建图像的场景类型表征权重，每一层神经网络的计算公式如下： 其中，是特征输入，是特征输出，和分别为隐藏层和输出层的权重，和分别为隐藏层和输出层的偏差，表示的是sigmoid激活函数； 随后，问题生成神经网络模型以LSTM为基础，多粒度、分层次地建立关系特征图中每个关注目标和周边封闭范围类别的关联，在不同尺度上根据预测的最优先问题范畴生成相关的引导问题。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。