天津大学林迪获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天津大学申请的专利一种生成式图像修复方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115311171B 。
龙图腾网通过国家知识产权局官网在2025-08-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202211075696.5,技术领域涉及:G06T5/77;该发明授权一种生成式图像修复方法是由林迪;申佳;万亮;冯伟设计研发完成,并于2022-09-05向国家知识产权局提交的专利申请。
本一种生成式图像修复方法在说明书摘要公布了:本发明涉及一种生成式图像修复方法,使用两个基于条件变分自编码器CVAE,即CVAEVh和CVAEVk,分别学习物体分割假设和不确定特征图用于修复图像,其中,使用物体分割假设CVAEVh学习关于物体类别的概率分布;基于物体分割假设CVAEVh,使用CVAEVk学习卷积核的概率分布,得到卷积核和不确定特征图,利用不确定特征图修复图像。
本发明授权一种生成式图像修复方法在权利要求书中公布了:1.一种生成式图像修复方法,使用两个基于条件变分自编码器CVAE,即CVAEVh和CVAEVk,分别学习物体分割假设和不确定特征图用于修复图像,其中,使用物体分割假设CVAEVh学习关于物体类别的概率分布;基于物体分割假设CVAEVh,使用CVAEVk学习卷积核的概率分布,得到卷积核和不确定特征图,利用不确定特征图修复图像,包括下列步骤: S1,使用CVAEVh学习关于物体类别的条件概率分布,即基于特征图学习物体分割假设,并得到类别不确定图,CVAEVh由编码器分支、条件分支和解码器分支构成;将特征图F和参考分割图S′∈RH×W×N图输入到CVAEVh,输出物体分割假设集合{Sl∈RH×W×N|l=1,…,L}和不确定特征图U∈RH×W×N,步骤如下: S11,对输入的待修复图像I∈RH×W×3进行特征图的提取,得到特征图F∈RH×W×C; S12,将特征图F和参考分割图S′输入到CVAEVh的编码器分支中,得到均值μs∈RH×W×C和标准差σs∈RH×W×C: [μs,σs]=encoder[S′,F] 其中,C代表通道数,[·]代表沿通道维度累加;μs,σs构成高斯分布一; S13,将特征图F输入到CVAEVh的条件分支中,得到均值μf∈RH×W×C和标准差σf∈RH×W×C: [μf,σf]=conditionF 其中,μf,σf构成高斯分布二; S14,从高斯分布中采样,生成大小为H,W,C的潜变量图Z∈RH×W×C,其中Z服从高斯分布; S15,对S12所得到的关于分割图的均值μs和标准差σs进行归一化处理,将归一化处理的结果与特征图F叠加,输入到CVAEVh的解码器分支中,输出物体分割假设集合{Sl∈RH×W×N|l=1,…,L}: Sl=decoder[F,归一化处理的结果] 其中,L代表生成Z的次数即采样次数,Z∈RH×W×C是由高斯分布产生的潜变量图,对每个Z执行步骤S15,得到L个物体分割假设,从而得到物体分割假设集合{Sl∈RH×W×N|l=1,…,L},N代表类别数; S16,对物体分割假设集合{Sl∈RH×W×N|l=1,…,L}中的物体分割假设Sl求L2范数,得到类别不确定图U∈RH×W×N: 其中,是归一化参数,‖·‖2代表L2范数; S2,使用交叉熵损失函数计算物体分割假设与参考分割图之间的损失值,使用K-L散度计算两个高斯分布之间的差异,训练CVAEVh; S3,对特征图F进行信息分解,方法如下: S31,将物体分割假设Sl与特征图F进行点乘,得到每个类别n对应的特征图F′n∈RH×W×C,然后进行卷积操作,得到每个类别n相应的卷积核K′n∈RH×W×S×S×C,n=1,…,N: F′n,x,y=Sx,y,n·Fx,y K′n=convF′n 其中,F′n,x,y∈RC代表第n个类别在像素点x,y的特征向量,Sx,y,n∈R代表像素点x,y为第n个类别的概率,Fx,y∈RC代表像素点x,y的特征向量; S32,将类别不确定图U与每个类别相应的卷积核K′n进行点乘,得到每个类别相应的卷积核,再对这些类别对应的卷积核进行相加,得到不确定卷积核Ku: 其中,代表像素点x,y的分辨率为S×S,通道数为C的卷积核,Ux,y,n代表像素点为第n个类别的不确定性,数值在0-1之间; S4,使用CVAEVk学习卷积核的概率分布,得到卷积核和不确定特征图,CVAEVk由编码器分支、条件分支和解码器分支构成,将物体分割假设S,类别不确定图U,特征图和不确定卷积核图Ku输入到CVAEVk中,生成卷积核K∈RH×W×S×S×C,步骤如下: S41,将不确定卷积核图Ku,物体分割假设Sl,类别不确定图U和特征图F输入到生成式网络CVAEVk的编码器分支中,得到均值μk∈RH×W×C和标准差σk∈RH×W×C: [μk,σk]=encoder[Ku,Sl,U,F] 其中,μk,σk构成高斯分布三; S42,将物体分割假设Sl,类别不确定图U和特征图F输入到CVAEVk的条件分支中,得到均值μc∈RH×W×C和标准差σc∈RH×W×C: [μc,σc]=condition[Sl,U,F] 其中,μc,σc构成高斯分布四; S43,从高斯分布中采样:生成大小为H,W,C的潜变量图Z∈RH×W×C,其中Z服从高斯分布; S44,使用高斯分布对S41得到的均值和标准差进行归一化处理,将归一化处理的结果与特征图F、物体分割假设Sl、类别不确定图U叠加,一同输入到CVAEVk的解码器分支中,输出卷积核K∈RH×W×S×S×C: K=decoder[Sl,U,F,归一化处理的结果] S45,将卷积核K和特征图F进行卷积操作,得到不确定特征图Q∈RH×W×3: Q=convK,F S46,对不确定特征图进行卷积操作得到修复之后的结果O∈RH×W×3; S5,使用L2损失函数计算卷积核K与不确定卷积核图Ku之间的损失值,使用K-L散度计算高斯分布三和四两个分布之间的差异,训练CVAEVk。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。