天津大学赵佳鸣获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉天津大学申请的专利基于递归式融合转换单元的多模态图像合成方法及装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119832111B 。
龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510028210.X,技术领域涉及:G06T11/00;该发明授权基于递归式融合转换单元的多模态图像合成方法及装置是由赵佳鸣;曹兵;朱鹏飞;胡清华设计研发完成,并于2025-01-08向国家知识产权局提交的专利申请。
本基于递归式融合转换单元的多模态图像合成方法及装置在说明书摘要公布了:本发明公开了一种基于递归式融合转换单元的多模态图像合成方法及装置,方法包括:融合转换单元采用递归展开的推理形式,提取不同深度的局部与全局特征;多分支解码器利用各分支中间深度的局部特征合成缺失模态图像,计算损失指导优化;利用最后阶段的局部与全局特征合成多个缺失模态重建图像;混合门控模块在融合图像空间中动态融合多个缺失模态重建图像;融合转换单元、多分支解码器与混合门控模块串联组成生成器,生成器与判别器构成生成对抗网络框架;分别对利用不同分支、不同深度的特征重建的图像计算对抗损失和重建损失,通过反向传播训练网络。装置包括:处理器和存储器。本发明兼顾了多模态图像数据的局部与全局上下文信息,提高了缺失模态的图像合成质量。
本发明授权基于递归式融合转换单元的多模态图像合成方法及装置在权利要求书中公布了:1.一种基于递归式融合转换单元的多模态图像合成方法,其特征在于,所述方法包括: 融合转换单元通过局部表示块学习局部图像特征,通过特征转换门从局部图像特征中筛选有效特征,并转换有效特征至Transformer特征空间,通过全局融合块融合有效特征与旧全局特征,推理出新全局特征;融合转换单元采用递归展开的推理形式,提取不同深度的局部与全局特征; 多分支解码器利用不同模态分支的局部表示块在不同递归阶段获得的局部图像特征合成缺失模态的中间结果,融合分支的全局融合块所提取的全局特征在经过图元扩展后也将通过解码器合成缺失模态图像,计算损失指导优化;利用最后阶段的局部与全局特征合成多个缺失模态重建图像;混合门控模块在融合图像空间中动态融合多个缺失模态重建图像; 融合转换单元、多分支解码器与混合门控模块串联组成生成器,生成器与判别器构成生成对抗网络框架; 分别对利用不同分支、不同深度的特征重建的图像计算对抗损失和重建损失,通过反向传播训练网络; 其中,所述局部表示块: LRB=Conv1ReLUResBlockx LRB输出的局部特征图Ci-1被送入1×1卷积层和门控线性单元中,筛选有效的特征,并将有效特征转换至Transformer特征空间当中; 所述多分支解码器为: 利用融合转换单元提供的输入模态多分支特征重建缺失模态图像,利用融合分支全局特征重建缺失图像,利用在中间递归推理阶段中的局部特征重建中间结果; 所述混合门控模块为多分支的合成图像计算自适应融合权重,并通过加权得到最终的缺失模态融合结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人天津大学,其通讯地址为:300072 天津市南开区卫津路92号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励