买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉西湖心辰(杭州)科技有限公司申请的专利基于多模态识别的AI多模态对话系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120336493B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510812668.4，技术领域涉及：G06F16/3329；该发明授权基于多模态识别的AI多模态对话系统是由俞佳;潘法昱;闫育铭设计研发完成，并于2025-06-18向国家知识产权局提交的专利申请。

本基于多模态识别的AI多模态对话系统在说明书摘要公布了：本申请涉及智能对话领域，其具体地公开了一种基于多模态识别的AI多模态对话系统，其首先分别提取文本词粒度与图像局部特征，其次通过双向交叉注意力机制，在特征层级构建文本与图像的动态关联，随后，通过多头注意力捕获跨模态高层语义的动态关联，其层次化处理机制使得系统能够自适应不同任务阶段的多模态信息价值权重，既解决了传统方法简单拼接导致的模态鸿沟问题，又通过动态注意力机制捕捉跨模态时空关联，最终通过意图识别与大模型生成实现精准响应。这样，突破了现有技术在跨模态特征提取、动态交互建模方面的局限，显著提升了多模态意图理解的准确性和响应相关性。

本发明授权基于多模态识别的AI多模态对话系统在权利要求书中公布了：1.一种基于多模态识别的AI多模态对话系统，其特征在于，包括： 输入获取模块，用于获取由用户输入的文本信息和由用户上传的图像数据； 多模态编码模块，用于将文本信息和图像数据分别输入自然语言单模态深度编码器和图像深度编码器以得到用户意图词粒度语义编码向量的集合和图像局部语义编码特征向量的集合； 早期特征融合模块，用于将用户意图词粒度语义编码向量的集合和图像局部语义编码特征向量的集合输入基于交叉注意力网络的早期特征融合组件以得到增强用户意图词粒度语义编码向量的集合和增强图像局部语义编码特征向量的集合； 语义层特征融合模块，用于将增强用户意图词粒度语义编码向量的集合和增强图像局部语义编码特征向量的集合输入基于多头注意力模块的语义层特征融合组件以得到用户意图多模态融合表示； 意图识别模块，用于将用户意图多模态融合表示输入意图识别分类器以得到意图识别结果； 智能响应生成模块，用于将意图识别结果和用户意图多模态融合表示输入大语言模型以得到回应文本； 其中，早期特征融合模块，进一步用于： 从用户意图词粒度语义编码向量的集合提取第一用户意图词粒度语义编码向量； 计算各个图像局部语义编码特征向量相对于第一用户意图词粒度语义编码向量的早期特征跨模态注意力值以得到图像向早期特征跨模态注意力值的集合； 基于所述图像向早期特征跨模态注意力值的集合，融合图像局部语义编码特征向量的集合以得到图像向跨模态早期特征注意力交互编码向量； 对图像向跨模态早期特征注意力交互编码向量和第一用户意图词粒度语义编码向量进行基于全局-局部稀疏耦合对称优化以得到图像向跨模态早期特征注意力交互优化编码向量和第一用户意图词粒度语义优化编码向量，其中，所述全局-局部稀疏耦合对称优化基于对图像向跨模态早期特征注意力交互编码向量和第一用户意图词粒度语义编码向量进行全局稀疏度残差建模和全局稀疏度残差的平滑性互约束来进行； 将图像向跨模态早期特征注意力交互优化编码向量和第一用户意图词粒度语义优化编码向量输入残差模块以得到第一用户意图词粒度语义编码向量对应的增强用户意图词粒度语义编码向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人西湖心辰(杭州)科技有限公司，其通讯地址为：310000 浙江省杭州市西湖区三墩镇智强路428号云创镓谷研发中心6号楼6F601-604室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。