买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工业大学申请的专利一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119475243B 。

龙图腾网通过国家知识产权局官网在2025-10-14发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411636139.5，技术领域涉及：G06F18/25；该发明授权一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统是由李向宇;蒋杰;骆功宁;王玮;李钦策;袁永峰;王宽全设计研发完成，并于2024-11-15向国家知识产权局提交的专利申请。

本一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统在说明书摘要公布了：一种基于VQ‑GCN的医学多模态隐空间对齐融合方法及系统，它属于医学多模态融合技术领域。本发明解决了传统融合方法难以在同一特征空间内保持语义一致性的问题。本发明方法具体为：步骤S1、分别为每个模态数据分别构建特征提取器；步骤S2、并将各个模态数据分别输入对应的特征提取器，获得各个模态数据的模态特征；步骤S3、对各个模态数据的模态特征进行隐空间对齐，分别获得各个模态的最终语义编码特征以及全部模态的最终共有语义特征；步骤S4、对各个模态的最终语义编码特征和全部模态的最终共有语义特征进行分层跨模态注意力特征融合，获得医学多模态特征融合结果。本发明方法可以应用于医学多模态隐空间对齐融合。

本发明授权一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统在权利要求书中公布了：1.一种基于VQ-GCN的医学多模态隐空间对齐融合方法，其特征在于，所述方法具体包括以下步骤： 步骤S1、将第i个模态数据记为di，i＝1,2,…,n，n是模态数，为每个模态数据分别构建特征提取器，并将第i个模态数据对应的特征提取器记为bi； 模态数n的取值为3，d1代表影像数据，d2代表病理数据，f3代表检查报告； 步骤S2、将模态数据di输入对应的特征提取器bi，获得提取出的模态特征fi； 步骤S3、对各模态的特征进行隐空间对齐，分别获得各个模态的语义编码特征以及全部模态的共有语义特征； 所述步骤S3的具体过程为： 步骤S31、随机初始化一个码本r是码本CB中的行向量个数，q是码本CB中每个行向量的长度； 步骤S32、将模态特征fi输入对应的语义编码器si，得到第i个模态的语义编码特征mi； 步骤S33、对于语义编码特征mi中的任意一个行向量mij，分别计算行向量mij与码本CB中每个行向量的相似得分，并获得最高的相似得分在码本CB中对应的行向量，再利用获得的行向量替换掉语义编码特征mi中的行向量mij； 语义编码特征mi中第j个行向量与码本CB中第k个行向量的相似得分similaritymij,cbk为： 其中，cbk是码本CB中第k个行向量，||·||代表2范数，“×”表示数的乘法运算，“·”表示向量相乘； 遍历语义编码特征mi中的各个行向量后，即对语义编码特征mi中的每个行向量分别进行替换后，得到第i个模态对应的矢量量化后的语义编码特征vqmi； 同理，分别得到每个模态对应的矢量量化后的语义编码特征； 步骤S34、对模态特征f1、f2和f3以通道维度进行连接，将连接结果作为多模态共有语义编码器C的输入，通过多模态共有语义编码器C输出多模态共有语义编码特征P； 所述步骤S34的具体过程为： 多模态共有语义编码器C内包括图像编码模块、文本编码模块、Cross-Attention模块和MLP；影像数据的模态特征和病理数据的模态特征通过图像编码模块进行编码，检查报告的模态特征通过文本编码模块进行编码，再将图像编码结果和文本编码结果通过Cross-Attention模块进行不同模态间的共有信息提取，最后将信息提取结果通过MLP获得共有语义编码特征P； 步骤S35、将多模态共有语义编码特征P以及各个模态矢量量化后的语义编码特征vqm1、vqm2、vqm3作为节点来构建图卷积神经网络，在图卷积神经网络内进行语义信息传递，获得各个模态的最终语义编码特征vqm′1、vqm′2、vqm′3以及全部模态的最终共有语义编码特征P′； 步骤S4、对各个模态的语义编码特征和全部模态的共有语义特征进行分层跨模态注意力特征融合，获得医学多模态特征融合结果； 所述步骤S4的具体过程为： 步骤S41、为每个模态的语义编码特征分别构建特征归一化层，其中，将为第i个模态的语义编码特征vqm′i构建的特征归一化层记为normi； 步骤S42、将第i个模态的语义编码特征vqm′i输入对应的特征归一化层normi，获得语义编码特征vqm′i的特征归一化结果mvqmi； 步骤S43、为每个特征归一化结果nvqmi分别构建跨模态交互模块cmai； 步骤S44、将多模态最终共有语义编码特征P′与nvqmi输入cmai进行跨模态交互，获得跨模态交互特征hi； 步骤S45、将h1、h2和h3输入自适应注意力融合网络，通过自适应注意力融合网络输出多模态特征融合结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工业大学，其通讯地址为：150001 黑龙江省哈尔滨市南岗区西大直街92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。