西北工业大学李学龙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉西北工业大学申请的专利一种保持文本内容位置关系的影像生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115880398B 。
龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211428965.1,技术领域涉及:G06T11/60;该发明授权一种保持文本内容位置关系的影像生成方法是由李学龙;陈穆林;肖勇设计研发完成,并于2022-11-14向国家知识产权局提交的专利申请。
本一种保持文本内容位置关系的影像生成方法在说明书摘要公布了:本发明涉及一种保持文本内容位置关系的影像生成方法,从训练数据与损失函数两个方面来提升生成模型对于目标位置关系的保持能力,并通过构建定量评价标准验证模型的生成结果。通过在训练的不同阶段加入的位置关系约束,使生成模型对于文本内容中位置关系语义信息的表达能力有所增强,从而有助于模型从更高的语义层级理解文本内容与影像特征之间的关系,提升生成影像的内容布局合理性与语义一致性。
本发明授权一种保持文本内容位置关系的影像生成方法在权利要求书中公布了:1.一种保持文本内容位置关系的影像生成方法,其特征在于步骤如下: 步骤1:对训练数据进行重新组织 1a:对训练数据中的物体位置信息与文本内容进行对齐; 1b:对未包含位置关系文本描述的训练数据进行蒸馏处理; 1c:对语义图中包含的物体位置信息进行建模,粗糙语义图布局中物体的描述信息有两部分组成,分别是确定放置位置的影像坐标信息及体现物体群体属性的类别信息;如公式1所示,通过一个四维向量来代表序号为t的物体在影像上的位置,其中,分别代表物体在二维影像上以左上角为原点的水平与垂直像素坐标,,分别代表位置框在二维影像上的像素长度及宽度;如公式2所示,是一个采用独热编码的L+1维向量,其元素由0或1组成,且只有一位数字为1,其余全为0,1的位置代表该向量代表的类别,L代表数据集中的物体种类数量,L+1类编码被设置为终止符作为单张影像类别序列的终止符号;如公式3所示,两个向量组成的约束信息可以唯一确定序号为t的物体在语义布局图上的位置; 1 2 3 1d:对每张影像中的物体输入预测模型的顺序按照一定规则进行重新排布;所述的排布规则如下:根据标注好的位置框信息计算物体的中心点坐标,按照影像二维平面坐标从左到右,进行递增排布,得出具有位置关系临近依赖的物体位置信息; 步骤2:训练保持位置关系语义的物体布局生成模块 2a:构建保持位置关系语义的物体布局生成模块,该模块的作用为根据输入的文本约束生成一组体现位置关系语义的物体位置信息列表;模块的处理过程如公式4所示,输入为256维的文本特征向量s,由一个预先训练的长短期记忆网络完成对输入自然语言描述的特征提取,代表一个双向长短期记忆网络;假设每张影像中包含序号1-T的物体,物体布局生成模块需要根据文本特征生成序号为1-T的位置约束信息;如公式5所示,基于LSTM的性质,每个单元的输出取决于前一个单元的输出状态与当前单元的输入,序号t的物体的位置约束信息的生成依赖于前t-1次生成的位置约束信息和文本特征;序号1-T物体的位置约束信息针对文本特征的条件概率分布可以分解为前T-1次生成概率分布的连乘; 4 5 2b:表示序号为T的物体种类信息的向量与表示位置信息约束的向量具有强依赖关系,在生成的过程中必须首先确定当前次需要生成的物体的种类信息;如公式6所示,在每次生成的过程中,首先从输入文本约束中采样得到一个类别标签,之后根据该类别标签预测其对应的位置信息,位置关系信息的生成被分为了两个部分,分别是类别标签的生成及对应物体位置描述的生成,两个步骤都采用LSTM结构,当前阶段的生成结果依赖于上一阶段的输出,代表之前所有步骤的生成结果,均使用Softmax函数对结果进行归一化处理; 6 2c:设计一种位置关系敏感的损失函数,如公式7所示,代表训练数据中的位置约束信息,代表布局生成模块输出的位置约束信息,代表物体根据位置约束信息计算出的中心点坐标,其中为水平方向坐标,为垂直方向坐标;如公式8所示,使用两点之间的水平方向余弦值来描述二者的平面位置关系,其中代表序号为i的物体的中心点坐标,代表序号为j的物体的中心点坐标;如公式9所示,代表序号为i的物体根据数据集标注信息计算得到的中心点坐标,在生成序号为t的物体位置约束信息时,损失函数的值为序号t的物体与前序生成的t-1个物体两两配对计算的水平余弦差值的平均值: 7 8 9 步骤3:将步骤1得到的训练数据输入到步骤2保持位置关系语义的物体布局生成模块,得到语义布局图,将该语义布局图输入到后序的生成模块中即可完成位置关系语义在最终生成影像内容中的表达。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励