中国科学院深圳先进技术研究院王书强获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉中国科学院深圳先进技术研究院申请的专利一种多模态数据融合方法、装置、计算机设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119691687B 。
龙图腾网通过国家知识产权局官网在2025-06-10发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510202089.8,技术领域涉及:G06F18/25;该发明授权一种多模态数据融合方法、装置、计算机设备及存储介质是由王书强;林君豪;刘克玄;吴红艳;赵秉诚设计研发完成,并于2025-02-24向国家知识产权局提交的专利申请。
本一种多模态数据融合方法、装置、计算机设备及存储介质在说明书摘要公布了:本申请涉及一种多模态数据融合方法、装置、计算机设备以及存储介质。所述方法包括:利用专用模态编码器对待融合的多模态数据进行高阶特征提取,得到多模态数据的高阶嵌入特征;结合专家知识约束和多头注意力机制对所述高阶嵌入特征进行解耦,分别得到表征局部信息的高频特征和表征全局信息的低频特征;利用余弦对齐算法对所述低频特征进行对齐,利用正交投影技术对所述高频特征进行正交投影,并通过自适应深度融合网络对对齐后的低频特征和正交投影后的高频特征进行多层级融合,得到融合后的多模态联合特征。本申请解决了数据的异质性和异构性问题,确保不同模态数据能够有效融合,能够显著提升疾病风险预警的精准度与个性化能力。
本发明授权一种多模态数据融合方法、装置、计算机设备及存储介质在权利要求书中公布了:1.一种多模态数据融合方法,其特征在于,包括:利用专用模态编码器对待融合的多模态数据进行高阶特征提取,得到多模态数据的高阶嵌入特征;所述多模态数据包括结构化电子健康记录、术前心电图、医学影像数据以及术中生理监测;结合专家知识约束和多头注意力机制对所述高阶嵌入特征进行解耦,分别得到表征局部信息的高频特征和表征全局信息的低频特征;利用余弦对齐算法对所述低频特征进行对齐,利用正交投影技术对所述高频特征进行正交投影,并通过自适应深度融合网络对对齐后的低频特征和正交投影后的高频特征进行多层级融合,得到融合后的多模态联合特征;将所述融合后的多模态特征输入预训练的风险预测模型,通过风险预测模型输出疾病风险预警概率;其中:所述结合专家知识约束和多头注意力机制对所述高阶嵌入特征进行解耦,分别得到表征局部信息的高频特征和表征全局信息的低频特征,具体为:通过一个嵌入层将相关疾病风险预警的专家知识编码为嵌入向量,将所述嵌入向量与高阶嵌入特征进行拼接后输入到特征解耦模块中;所述特征解耦模块依次通过归一化层、多头注意力机制层和前馈全连接层对所述高阶嵌入特征进行处理,捕捉所述多模态数据间的潜在关系和特征关系;基于所述多模态数据间的潜在关系和特征关系,分别通过低频特征共性解耦层和高频特征特异解耦层对高阶嵌入特征进行解析,提取出所述多模态数据的低频特征和高频特征;计算所述低频特征和高频特征的均值和方差,通过高斯采样方法从所述均值和方差中进行采样,得到最终的低频特征和高频特征。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人中国科学院深圳先进技术研究院,其通讯地址为:518055 广东省深圳市南山区深圳大学城学苑大道1068号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。