重庆大学钟代笛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉重庆大学申请的专利一种基于交换的多模态多尺度变换融合方法和系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119538188B 。
龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411596655.X,技术领域涉及:G06F18/25;该发明授权一种基于交换的多模态多尺度变换融合方法和系统是由钟代笛;李虓宇;黄智勇;仲元红;韩术;王丽君设计研发完成,并于2024-11-11向国家知识产权局提交的专利申请。
本一种基于交换的多模态多尺度变换融合方法和系统在说明书摘要公布了:本发明公开了一种基于交换的多模态多尺度变换融合方法和系统,该方法包括:获取原始图像数据和原始文本数据并输入MMTF模型,生成融合结果,其中,MMTF模型包括:多模态编码器模块、解码器模块、基于通道的信息交换模块和多尺度融合模块,多模态编码器模块包括文本编码器和双分支图像解码器;解码器模块对编码器生成的嵌入进行解码;基于通道的信息交换模块对不同通道上的不同模态的嵌入进行信息交换;多尺度融合模块,用于根据不同分支上的图像特征和文本特征,融合来自一个分支的cls令牌和来自另一个分支中的补丁令牌。本发明的方法可以在各种医疗环境中提供可靠的决策支持,提高诊断准确性并减少临床医生的工作量。
本发明授权一种基于交换的多模态多尺度变换融合方法和系统在权利要求书中公布了:1.一种基于交换的多模态多尺度变换融合方法,其特征在于,包括: 获取多模态数据,即原始图像数据和与原始图像数据对应的原始文本数据; 将原始图像数据和原始文本数据输入多模态多尺度变换融合模型,生成融合结果,其中,所述多模态多尺度变换融合模型包括:多模态编码器模块、解码器模块、基于通道的信息交换模块和多尺度融合模块, 多模态编码器模块包括文本编码器和双分支图像编码器, 文本编码器用于对输入的文本数据进行编码,生成文本嵌入; 双分支图像编码器包括小分支图像编码器和大分支图像编码器,分别用于提取输入的图像数据的细粒度图像嵌入和粗粒度图像嵌入; 解码器模块包含两个解码器,分别对文本编码器和双分支图像编码器生成的嵌入进行解码,从而根据文本生成图像以及根据图像生成文本两个生成任务,以实现对文本编码器和双分支图像编码器生成的嵌入的正则化; 基于通道的信息交换模块用于根据不同通道的注意力得分,对不同通道上的不同模态的嵌入进行信息交换,从而生成不同分支上的图像特征和文本特征; 多尺度融合模块,用于根据不同分支上的图像特征和文本特征,融合来自一个分支的cls令牌和来自另一个分支中的补丁令牌。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人重庆大学,其通讯地址为:400044 重庆市沙坪坝区沙正街174号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。