买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利一种智能的多模态对话系统及方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119724188B 。

龙图腾网通过国家知识产权局官网在2025-11-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411984568.1，技术领域涉及：G10L15/22；该发明授权一种智能的多模态对话系统及方法是由纪荣嵘;谢天宇;郑侠武设计研发完成，并于2024-12-31向国家知识产权局提交的专利申请。

本一种智能的多模态对话系统及方法在说明书摘要公布了：本发明涉及一种智能的多模态对话系统及方法，其中系统包括：多模态输入处理模块负责实时采集和处理用户的语音与视频输入，通过特殊的数据标记机制确保信息的准确传递。语音识别处理模块：采用创新的分段累积机制和双重过滤策略，确保语音识别的准确性和连贯性。LLM控制器模块：通过智能分析实现模型的动态选择，平衡系统性能和资源消耗。响应生成模块：负责整合模型输出并生成最终响应，确保对话的自然流畅。本发明能够根据对话内容智能判断使用合适的模型类型，通过特殊的数据标记和处理机制实现多模态信息的高效整合。

本发明授权一种智能的多模态对话系统及方法在权利要求书中公布了：1.一种智能的多模态对话系统，其特征在于，包括： 多模态输入处理模块，包括音频输入单元、视频输入单元、音频处理器和视频处理器，所述音频输入单元与音频处理器通信连接，所述视频输入单元与视频处理器通信连接；所述音频输入单元用于采集用户的语音输入，所述音频处理器将采集的语音输入打包成音频数据包；所述视频输入单元用于采集用户的视频输入，所述视频处理器对采集的视频输入进行帧处理，并打包成包含视觉特征的视频数据包； 语音识别模块，包括ASR处理器，所述ASR处理器对音频数据包实施有效性检测，通过计算音频流的RMS值和短时能量特征来判断是否包含有效语音，然后采用分段累积策略对有效语音段进行处理，最后将处理后的语音段识别为文本信息； LLM控制器模块，包括控制器LLM、文本LLM和视觉LLM，LLM控制器对ASR处理器输出的文本信息进行深度语义分析，并识别是否需要视觉理解能力；当不需要视觉理解能力时，调用文本LLM对文本信息进行处理，并输出响应和响应标记；当需要视觉理解能力时，则调用视觉LLM，同时获取视频数据包的视觉特征，将该视觉特征和文本信息作为视觉LLM的输入，视觉LLM处理后输出响应和响应标记；响应标记包括“[S.LISTEN]”、“[C.LISTEN]”、“[S.SPEAK]”，[S.SPEAK]表示系统正在输出、[C.LISTEN]表示系统正在接收用户输入、[S.LISTEN]表示系统等待用户响应； 响应生成模块，包括系统响应单元和语音合成单元，系统响应单元用于检测文本LLM和视觉LLM输出的响应标记，如果输出的“[S.LISTEN]”，则不进行语音合成处理，如果是“[S.SPEAK]”，则触发语音合成单元：将用“空”替换掉“[S.SPEAK]”，然后输入语音合成服务，对用户进行语音回应。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361000 福建省厦门市思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。