买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京印刷学院申请的专利一种基于双注意力模型的图像描述方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115311465B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210955941.5，技术领域涉及：G06V10/80；该发明授权一种基于双注意力模型的图像描述方法是由李佩;汪红娟设计研发完成，并于2022-08-10向国家知识产权局提交的专利申请。

本一种基于双注意力模型的图像描述方法在说明书摘要公布了：本发明通过网络安全领域的方法，实现了一种基于双注意力模型的图像描述方法。采用“编码器‑解码器”框架结构完成图像描述研究任务，将卷积神经网络+长短期记忆网络+注意力机制结合的框架；首先构建编码器，借助ResNeXt‑101网络和目标检测器FasterR‑CNN来构建新的编码器模型以此获取待测图像的目标区域并进行特征提取；之后构建解码器，使双注意力机制和双层LSTM构建新的解码器来生成图像的描述语句；最后对模型进行优化，采用REINFORCE强化学习算法对模型进行优化。本发明提供的方法能够有效的提高图像描述模型的准确率以及图像描述内容的丰富度，提高图像描述模型的整体性能。

本发明授权一种基于双注意力模型的图像描述方法在权利要求书中公布了：1.一种基于双注意力模型的图像描述方法，其特征在于：通过输入单元输入图像信息，采用“编码器-解码器”框架结构完成图像描述研究任务，将卷积神经网络+长短期记忆网络+注意力机制结合的框架，最终输出图片的文字化表述；首先构建编码器，借助ResNeXt-101网络和目标检测器FasterR-CNN来构建新的编码器模型以此获取待测图像的目标区域并进行特征提取；之后构建解码器，使双注意力机制和双层LSTM构建新的解码器来生成图像的描述语句；最后对模型进行优化，采用REINFORCE强化学习算法对模型进行优化； 在进行网络预训练的时候对ResNeXt-101网络结构先进行微调，剔除ResNeXt-101网络结构最后一层的无用网络层，然后在ImageNet数据集上预训练好ResNeXt-101，利用预训练好的ResNeXt-101网络并结合FasterR-CNN算法来获取目标特征，即视觉特征和语义特征，之后通过利用注意力机制方法，构建成双注意力机制图像描述模型； 所述编码器，首先使用ResNeXt-101网络提取出图像的基本特征，然后利用FasterR-CNN算法进行物体检测，进而提取到目标特征； 所述物体检测分为两个阶段，第一个阶段将ResNeXt-101网络最后层输出的特征注入到FasterR-CNN的候选区域网络中生成候选框，并对感兴趣区域的边界框进行第一次修正；第二阶段将产生的候选框和特征图注入到感兴趣区域池化层中，以获得与候选框尺度一致的特征图形；最后通过softmax和全连接层确定其类别和精确信息，并执行边界框的第二次修正，并将得到的视觉特征集合记为V＝{v1,v2,...,vn}； 通过平均池化得到的特征记为计算公式为将其作为全局视觉特征输入到解码端构建视觉注意力模型； 将视觉LSTM模型记为LSTM1v，LSTM1v中的1表示第一层LSTM；将全局视觉特征先前单词嵌入wt-1和来自语言LSTM的先前输出状态向量融合作为输入来计算视觉注意力查询 其中E表示单位矩阵转换，θv是参数，将视觉注意力查询向量当作视觉注意力机制的指导向量，得到基于视觉注意力机制的视觉LSTM，其输出表示为 将采用卷积神经网络提取到的全局视觉特征使用循环神经网络来预测描述语句，在编码器阶段加入注意力模型，利用场景图解析器来提取到物体语义特征，记为集合S＝{Sobj,Sattr,Srel}，其中目标物体单词表记为O＝{obj1,obj2,...,objn}，物体属性单词表记为A＝{attr1,attr2,...,attrn}，物体关系单词表记为R＝{rel1,rel2,...,reln}，这些语义单词用One-Hot方法编码，采用词嵌入矩阵将其映射到Visual-Semantic空间；目标实体的单词表特征记为Sobj＝{sobj1,sobj2,...,sobjn}，属性词表特征记为Sattr＝{sattr1,sattr2,...,sattrn}，关系词表特征记为Srel＝{srel1,srel2,...,sreln}，进而根据公式： 得出语义全局特征的平均特征 将语义LSTM模型记为LSTM1s，其中的1表示第一层LSTM；将语义全局特征的平均特征先前的单词嵌入wt-1向量和来自先前语言LSTM的状态向量融合作为计算语义注意力查询其中E表示单位矩阵转换，θs是参数；得到基于语义注意力机制的语义LSTM，其输出表示为

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京印刷学院，其通讯地址为：102699 北京市大兴区兴华大街（二段）1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。