浙江大学李玺获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于属性驱动GAN的文本生成图像的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115690245B 。
龙图腾网通过国家知识产权局官网在2026-03-03发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211150158.8,技术领域涉及:G06T11/60;该发明授权一种基于属性驱动GAN的文本生成图像的方法是由李玺;吴欣填;赵涵斌;郑良立设计研发完成,并于2022-09-21向国家知识产权局提交的专利申请。
本一种基于属性驱动GAN的文本生成图像的方法在说明书摘要公布了:本发明提供一种基于属性驱动GAN的文本生成图像方法。该方法提出一种新的文本表达——属性表达,辅助文本生成图像任务中的文本表达能力,同时作为条件生成对抗网络中额外条件控制图像的生成;另外本发明针对引入的属性表达,提出一个具备实时读写功能的属性记忆模块,为文本生成图像的条件生成框架提供相应的属性条件信息,同时设计两种不同的记忆更新策略对属性记忆库进行实时优化;再者本发明在文本图像跨模态训练过程中,提出一个对比学习策略对多种不同的模态表达,即属性、句子、图像进行特征空间的对齐。本发明能够通过输入句子和属性的联合文本生成逼真且高语义匹配度的图像,也能够实现条件对抗生成网络在跨模态场景下的稳定训练。
本发明授权一种基于属性驱动GAN的文本生成图像的方法在权利要求书中公布了:1.一种基于属性驱动GAN的文本生成图像的方法,其特征在于,包括以下步骤: S1、针对多模态数据集,将整个数据集中存在的所有属性描述构建为属性集合;且所述多模态数据集中的每一个图像样本标注有句子级别的句子描述以及属性级别的多属性标签; S2、基于预先训练好的文本编码器,将多模态数据集中每个图像样本的句子描述经过文本编码器直接得到句子特征表达,同时将属性集合中每个属性描述经过文本编码器提取文本特征,并得到相应的句子特征及属性特征集合,将属性特征集合作为用于为网络训练提供辅助的属性记忆模块,再根据每个图像样本的多属性标签从属性记忆模块中抽取相应的属性特征并集成为共同的属性特征表达; S3、将句子特征表达与属性特征表达设置为生成图像的条件,并构建句子与属性联合调控的条件生成网络框架以作为文本图像生成器;所述条件生成网络框架分为生成模型和判别模型两个对抗训练的网络; 所述生成模型由一系列上采样的ResBlock构建而成,其输入为从高斯分布中采样的一个高斯噪音;每个上采样的ResBlock由属性特征表达或者句子特征表达中的一种进行特征调控,其中属性特征表达作为低层的特征条件,句子特征表达为高层的特征条件;每个上采样的ResBlock将输入的特征图进行双倍上采样,然后基于自适应实例归一化AdaptiveInstanceNormalization用当前ResBlock对应的特征表达对特征图进行特征调控,并将经过特征调控后的特征图输入到下一个上采样的ResBlock;经过多个上采样的ResBlock的串行处理后,最终实现低维度噪音到高维度图像的映射; 所述判别模型由一系列下采样的ResBlock构建而成,其输入为所述生成模型生成的高维度图像;每个下采样的ResBlock负责将输入特征图进行卷积操作并双倍下采样,经过多个下采样的ResBlock的串行处理后,实现高维度图像到低维度特征嵌入的转化,最后将该低维度特征嵌入经过分类器进行多属性预测同时经过卷积层进行真假预测; S4、以所述多模态数据集为训练数据,通过属性记忆模块更新与跨模态特征对齐对条件生成网络框架进行训练优化,得到的生成模型作为文本图像生成器; 所述属性记忆模块更新包含读取过程和写入过程,读取过程为根据多属性标签提取样本的属性表达,写入过程为通过网络的反向传播进行实时更新;且属性模块具有单样本更新机制和联合样本更新机制两种不同的更新策略; 所述跨模态特征对齐通过将图像特征表达与相应的句子特征表达和属性特征表达通过对比学习的方式进行特征对齐; 训练优化条件生成网络框架时采用的总损失函数包含条件生成对抗网络的判别性损失、多属性预测损失和跨模态特征对齐损失; S5、所述条件生成网络框架训练完成后,基于优化后的属性记忆模块和文本图像生成器,基于指定的句子描述及多属性标签生成对应的图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励