浙江大学裘乐淼获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于姿势-形状-内容推理的人体图像序列生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115311142B 。
龙图腾网通过国家知识产权局官网在2025-12-12发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210942446.0,技术领域涉及:G06T3/04;该发明授权一种基于姿势-形状-内容推理的人体图像序列生成方法是由裘乐淼;房乃玉;张树有;王阳;王自立设计研发完成,并于2022-08-08向国家知识产权局提交的专利申请。
本一种基于姿势-形状-内容推理的人体图像序列生成方法在说明书摘要公布了:本发明公开了一种基于姿势‑形状‑内容推理的人体图像序列生成方法。该方法根据自顶向下的特征推断顺序,将姿势插值路径限制在姿势流形中,利用姿势流形网络线性控制参数实现姿势插值。利用迁移注意网络将插值后的姿势特征转换到端形状特征中,采用注意力机制强调高跨度的空间关系。通过比较目标形状和端形状,内容转换网络估计多尺度特征级光流,并分别变形服装聚类和人体聚类的内容特征,同时采用特征码注入机制辅助无源特征的内容推断。本发明适用于连续的人体图像生成,该方法有助于解决服装在线零售中静态模特图像服装效果展示效果差的问题,有助于实现虚拟试衣和服装售卖的动态展示,有助于姿势驱动的动画电影制作。
本发明授权一种基于姿势-形状-内容推理的人体图像序列生成方法在权利要求书中公布了:1.一种基于姿势-形状-内容推理的人体图像序列生成方法,其特征在于,包括以下步骤: 步骤1:将服装图像的起始插值端姿势概率热图和终止插值端姿势概率热图输入姿势流形网络,通过插值参数t控制姿势特征的焦点移动,得到插值后的姿势概率热图; 步骤2:将插值后的姿势概率热图和端实例级分割图输入到迁移注意网络得到目标实例级分割图; 所述步骤2包括以下子步骤: 2.1将插值后的姿势概率热图pt输入姿势编码器Ep中并在姿势编码器Ep的末端生成插值姿势特征图,端实例级分割图S0输入形状编码器Es中并在形状编码器Es的末端生成形状特征图; 2.2将插值姿势特征图输入第二瓶颈层组合,所述第二瓶颈层组合包括个瓶颈层,插值姿势特征图经过3个瓶颈层输出:,其中,为第一姿势特征图,为第二姿势特征图,为第三姿势特征图; 2.3随后将插值姿势特征图、形状特征图输入至风格迁移模块归一化匹配得到第一目标形状特征图:,为方差函数,为均值函数;第一目标形状特征图经过1个瓶颈层输出; 将和第一姿势特征图输入至风格迁移模块归一化匹配得到第二目标形状特征图:;第二目标形状特征图经过1个瓶颈层输出; 将和第二姿势特征图输入至风格迁移模块归一化匹配得到第三目标形状特征图:;第三目标形状特征图经过1个瓶颈层输出目标形状特征图; 2.4将插值姿势特征图和目标形状特征图输入至注意力模块,得到,其中为矩阵乘法符号,softmax为归一化函数,为可学习的参数; 将形状特征图和目标形状特征图输入至注意力模块,得到; 随后将和相加,得到注意力强调后的形状特征图:; 2.5最后将注意力强调后的形状特征图输入形状解码器Ds中,将注意力强调后的形状特征图重新映射为目标实例级分割图St; 步骤3:通过对比步骤2得到的目标实例级分割图以及端实例级分割图,估计多尺度特征级光流; 所述步骤3包括以下子步骤: 3.1将目标实例级分割图St输入编码器,经过4个下采样残差块得到特征图、、、:; 将端实例级分割图S0输入编码器,经过4个下采样残差块得到特征图、、、:; 3.2将特征图、特征图进行合并,通过Conv2d卷积层将合并后的特征图的通道数将至16,再通过卷积层组合{Conv2d+Tanh}生成多尺度特征级光流f1以及通过卷积层组合{Conv2d+Sigmoid}生成重用掩膜m1; 3.3将特征图、特征图进行合并,通过Conv2d卷积层将合并后的特征图的通道数将至16,再通过卷积层组合{Conv2d+Tanh}生成多尺度特征级光流f2; 3.4将特征图、特征图进行合并,通过Conv2d卷积层将合并后的特征图的通道数将至16,再通过卷积层组合{Conv2d+Tanh}生成多尺度特征级光流f3; 步骤4:从端实例级分割图中提取特征码; 步骤5:将人体图像输入至图像合成模块,最终输出插值参数t条件下的人体图像; 所述步骤5包括以下子步骤: 5.1将人体图像I0分割为人体聚类Ib和服装聚类Ic; 随后将人体聚类Ib输入至编码器Eb,所述编码器Eb包括4个下采样残差块,经过一个下采样残差块输出,经过一个下采样残差块输出;随后将和f1输入至变形模块得到:,其中,warp为网格变形函数; 经过一个下采样残差块输出,将和f2输入至变形模块得到:; 经过一个下采样残差块输出,将和f3输入至变形模块得到:; 5.2引入服装聚类的Sobel梯度Ig来强化内容转换中的纹理质量和图像结构,所述Ig通过以下公式计算得到: ; 其中,g为灰度转换函数;kx为x轴方向上的Sobel卷积因子,ky为y轴方向上的Sobel卷积因子;Ic为服装聚类; 5.3将服装聚类Ic输入至编码器Ec,编码器Ec包括4个下采样残差块,经过一个下采样残差块输出,经过一个下采样残差块输出;随后将和f1输入至变形模块得到:; 经过一个下采样残差块输出,将和f2输入至变形模块得到:; 经过一个下采样残差块输出,将和f3输入至变形模块得到:; 5.4将服装聚类的Sobel梯度Ig输入至编码器Eg,编码器Eg包括4个下采样残差块,经过一个下采样残差块输出,经过一个下采样残差块输出;随后将和f1输入至变形模块得到:; 经过一个下采样残差块输出,将和f2输入至变形模块得到:; 经过一个下采样残差块输出,将和f3输入至变形模块得到:; 5.5将和输入至梯度融合模块,得到:; 经过一个下采样残差块输出;随后将、和输入至梯度融合模块,得到:,其中,为合并操作; 经过一个下采样残差块输出;随后将、和输入至梯度融合模块,得到:; 经过一个下采样残差块输出; 5.6将与特征码合并,随后经过一个瓶颈层,再与特征码合并;然后输入至四个上采样残差块,经过第一个上采样残差块后与进行特征合并,输入至第二个上采样残差块;经过第二个上采样残差块后与进行特征合并,输入至第三个上采样残差块;经过第三个上采样残差块后与进行特征合并,输入至第四个上采样残差块;经过第四个上采样残差块后输出在插值参数t条件下的人体图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励