东北大学黄奕杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东北大学申请的专利一种基于文本先验与非对称深度混合的多模态对齐方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121561164B 。
龙图腾网通过国家知识产权局官网在2026-03-24发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202610078452.4,技术领域涉及:G06F16/903;该发明授权一种基于文本先验与非对称深度混合的多模态对齐方法是由黄奕杰;冯时;王大玲;张一飞;杨晓翠设计研发完成,并于2026-01-21向国家知识产权局提交的专利申请。
本一种基于文本先验与非对称深度混合的多模态对齐方法在说明书摘要公布了:本发明属于多模态融合对齐技术领域,公开一种基于文本先验与非对称深度混合的多模态对齐方法。包括混合查询构建模块、Cat‑MoD模型和相似度感知路由监督模块;混合查询构建模块融合具有文本先验的引导令牌与探索令牌;Cat‑MoD模型包括多个非对称深度混合模块,指令序列和经过Cat‑MoD模型处理过的令牌序列共同输入至冻结的大模型中处理,得到最终输出结果;相似度感知路由监督模块通过计算非对称深度混合模块内查询令牌在与图片特征交互前后状态的余弦相似度,并以此作为标签为非对称深度混合模块中的路由器提供监督信号;非对称深度混合模块通过路由器评估输入到当前非对称深度混合模块中查询令牌的信息饱和度。
本发明授权一种基于文本先验与非对称深度混合的多模态对齐方法在权利要求书中公布了:1.一种基于文本先验与非对称深度混合的多模态对齐方法,其特征在于,包括混合查询构建模块、Cat-MoD模型和相似度感知路由监督模块;所述混合查询构建模块通过文本编码器提取图片描述的特征,得到具有文本先验的引导令牌,融合引导令牌与随机初始化的探索令牌得到初始化查询令牌;所述Cat-MoD模型包括多个非对称深度混合模块,由图片编码器提取的图片特征和初始化查询令牌共同作为输入;指令序列和经过Cat-MoD模型处理过的令牌序列共同输入至冻结的大模型中处理,得到最终输出结果; 所述相似度感知路由监督模块通过计算非对称深度混合模块内查询令牌在与图片特征交互前后状态的余弦相似度,评估特征演化增益,并以此作为标签为非对称深度混合模块中的路由器提供监督信号;所述非对称深度混合模块通过路由器评估输入到当前非对称深度混合模块中查询令牌的信息饱和度,并控制饱和状态的查询令牌跳过非对称深度混合模块中的交叉注意力计算,同时保留所述饱和状态的查询令牌在非对称深度混合模块内自注意力层中的语义通信; 所述非对称深度混合模块依次包括自注意力层、路由器、交叉注意力层和前馈层; 所有输入的查询令牌经自注意力层计算获得令牌的第一状态,路由器接受第一状态作为输入;所述路由器基于所述第一状态预测该查询令牌的饱和度得分;所述饱和度得分用于表征该查询令牌预执行交叉注意力交互后所能获得的特征演化增益;当一个查询令牌的饱和度得分高于预设阈值时,判定该查询令牌处于非饱和状态,并将该查询令牌加入激活集;根据激活集结果实施非对称路径选择;经过非对称路径选择处理后的所有令牌均经前馈层处理输出令牌序列。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东北大学,其通讯地址为:110819 辽宁省沈阳市和平区文化路三巷11号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励