厦门大学纪荣嵘获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉厦门大学申请的专利基于轨迹的目标精细控制的2D图像生成的分层引导方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119648568B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411786947.X,技术领域涉及:G06T5/70;该发明授权基于轨迹的目标精细控制的2D图像生成的分层引导方法是由纪荣嵘;孙晓帅;黄欧成;吴明瑞;纪家沂设计研发完成,并于2024-12-06向国家知识产权局提交的专利申请。
本基于轨迹的目标精细控制的2D图像生成的分层引导方法在说明书摘要公布了:本发明公开了一种基于轨迹的目标精细控制的2D图像生成的分层引导方法,涉及图像生成技术领域。所述方法通过设计分层引导机制计算Unet模型部分的中间层和上采样层的交叉注意力图的控制损失、抑制损失和修补损失,并根据分层引导设计的能量函数计算损失再梯度回传更新潜在特征,从而在低分辩下结合控制损失与抑制损失的实现目标有效的布局控制,在中和高分辨率下结合控制损失与修补损失去确保目标形状控制。本发明提供的一种基于轨迹的目标精细控制的2D图像生成的分层引导方法,解决了基于轨迹的图像生成模型的不能够稳定控制布局和不能对目标精细控制的缺陷,同时不需要额外训练。
本发明授权基于轨迹的目标精细控制的2D图像生成的分层引导方法在权利要求书中公布了:1.一种基于轨迹的目标精细控制的2D图像生成的分层引导方法,其特征在于,包括: 步骤1、获取文本提示、轨迹及轨迹对应的控制文本标签; 步骤2、使用视觉语言的分词器和文本编码器对文本提示进行分词并提取文本特征,使用视觉语言的分词器对轨迹对应的控制文本标签进行分词并计算其在文本提示被分词后的交叉注意力图列表中的下标;然后初始化稳定扩散模型的潜在特征; 步骤3、将轨迹转换至与所控制的交叉注意力图相同分辨率下作为控制区域;通过分层引导机制对预训练稳定扩散模型的Unet模型部分的中间层和上采样层的交叉注意力图计算控制损失、抑制损失和修补损失,并根据分层引导设计的能量函数计算损失再梯度回传更新潜在特征;所述控制损失在各分辨率下使布局与轨迹对齐,抑制损失在低分辨率下抑制轨迹外的物体,修补损失在中高分辨率下利用注意力反馈精细化未完全被轨迹控制的区域;基于稳定扩散模型无分类引导的去噪过程一步步去噪得到最新的潜在特征; 所述修补损失Lf的公式如下 其中,代表修补损失计算的值;是在每次引导步骤之前,通过从中提取高响应区域动态生成的二值掩码。 所述分层引导设计的能量函数的公式如下: 其中,代表分层引导机制能量函数所计算的值;、、是调整引导强度的缩放因子; 为U-Net的中间层8×8交叉注意力图布局控制的能量函数,为U-Net上采样层16×16交叉注意力图形状控制的能量函数,同为U-Net上采样层32×32交叉注意力图形状控制的能量函数; 布局控制的能量函数的公式如下: , 其中,代表布局控制能量函数所计算的值;Lc和Ls为控制损失和抑制损失; 形状控制的能量函数的公式如下: , 其中,代表形状控制能量函数所计算的值;Lf为修补损失; 步骤4、通过解码器得到所控制的生成图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人厦门大学,其通讯地址为:361000 福建省厦门市思明南路422号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励