买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉天津大学申请的专利基于时间-空间关系的多任务学习图像记忆度预测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115272829B 。

龙图腾网通过国家知识产权局官网在2025-06-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211004849.7，技术领域涉及：G06V10/82；该发明授权基于时间-空间关系的多任务学习图像记忆度预测方法是由吕卫;费裕丰;褚晶辉设计研发完成，并于2022-08-22向国家知识产权局提交的专利申请。

本基于时间-空间关系的多任务学习图像记忆度预测方法在说明书摘要公布了：本发明涉及一种基于时间‑空间关系的多任务学习图像记忆度预测方法，包括下列步骤：构建训练集和测试集；将图像通过Resnet101残差网络，获得三种不同的空间分量特征信息；将三种特征信息输入到三个同样尺度通道数为1024的LSTM寄存器，模拟记忆随时间变化的过程；LSTM寄存器的核心为循环神经网络RNN；获得加强空间关系；获得短时间记忆力，第一中间记忆力，第二中间记忆力，长时间记忆力y4；得到加强与短时记忆相关的表层视觉特征信息最终状态，加强与长时记忆相关的高级语义特征信息最终状态；重新组合处理后的三种空间特征信息再用三个权重参数线性组合后得到最终的记忆度预测值。

本发明授权基于时间-空间关系的多任务学习图像记忆度预测方法在权利要求书中公布了：1.一种基于时间-空间关系的多任务学习图像记忆度预测方法，包括下列步骤： 第一步，使用公开的SUNMemorability数据集，得到训练集和测试集； 第二步，将图像通过Resnet101残差网络，获得三种不同的空间分量特征信息：高级语义特征信息X0,中间特征信息X1,表层视觉特征信息X2；其中，X0的维度为1024×14×14,中间特征信息X1的维度为1024×28×28,表层视觉特征信息X2的维度为1024×56×56； 第三步，将三种特征信息输入到三个同样尺度通道数为1024的LSTM寄存器，方法如下：先获取整体信息，使用view函数将三种不同的空间分量特征信息都从三维降维到二维，分别是1024×196，1024×784，1024×3136，利用每种特征信息的第二维度的平均值构建三种新的1024×1的向量，通过2个不同的Linear线性卷积函数产生LSTM寄存器初始状态和初始参数，得到维度都是1024×1的LSTM寄存器初始状态h00,h01,h02和初始参数cs0,cs1,cs2；分别用每个特征信息Xi，i＝0，1，2，对应的初始状态h0i和初始参数csi构建三个通道数为1024的LSTM寄存器，再用view函数将特征信息分别恢复成1024×14×14，1024×28×28，1024×56×56，输入到对应的LSTM寄存器中模拟记忆随时间变化的过程； 第三步，LSTM寄存器的核心为循环神经网络RNN，RNN输出的结果不仅仅与当前输入有关，也和之前的输出有关,在任一个LSTM寄存器中，每次时间迭代后都会产生新的RNN和新的寄存器状态h，将迭代的步数设置为4；每次迭代得到新的寄存器状态h后，通过对h进行连续的降维，激活，去除随机性，再降维，得到每次迭代步数下的记忆度预测分量out_step；每种特征信息在对应的LSTM寄存器中迭代4步，会产生4个LSTM寄存器状态；表层视觉特征信息产生的4个寄存器状态组合为H0，中间特征信息产生的4个寄存器状态组合为H1,高级语义特征信息产生的4个寄存器状态组合为H2；三个空间分量特征中第i个特征所产生的4个记忆度预测分量分别为：out_step1i，out_step2i，out_step3i，out_step4i； 第四步，将H0，H1，H2作为三个输入输入到第一个多头注意力网络中，获得Hi与Hi自身的关系Hatten，关系Hatten表征了在空间上特征与特征之间的联系；将所获得的关系Hatten叠加在原来的Hi上，即H′i＝Hi+Hatten，从而获得加强空间关系的H′0，H′1，H′2； 第五步，将第三步中得到的三个通道数为1024的LSTM寄存器的4步记忆度预测分量out_step组合成Y，Y为3×4维，并将三个相同的Y输入到第二个多头注意力网络中，获得Y与Y自身的关系Yatten，关系Yatten表征了在时间上任务与任务之间的联系；将关系Yatten加在原来的Y上，即Y′＝Y+Yatten，得到加强空间关系的Y′，Y′也是3×4维的，从而获得短时间记忆力y1，第一中间记忆力y2，第二中间记忆力y3，长时间记忆力y4； 将长时间记忆力y4和短时间记忆力y1用线性变化拉伸到3×1024维分别得到Ky4和Ky1；拉伸后的短时间记忆力Ky1和H′0一起输入到第三个多头注意力机制网络中，得到关系XYatten1；拉伸后的长时间记忆力Ky4和H′2一起输入到第四个多头注意力机制网络中，得到关系XYatten2；将关系XYatten1和关系XYatten2再分别加到H′0和H′2上，得到加强与短时记忆相关的表层视觉特征信息最终状态H″0，加强与长时记忆相关的高级语义特征信息最终状态H″2； 重新组合处理后的三种空间特征信息H″0，H′1，H″2，经过第一次卷积降维，dropout函数,relu函数和第二次卷积降维得到最终的三个记忆度预测分量p0,p1,p2，再用三个权重参数线性组合后得到最终的记忆度预测值p＝p0×a+p1×b+p2×c。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学，其通讯地址为：300072 天津市南开区卫津路92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。