买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州同顺传媒科技有限公司申请的专利一种多模态生成式对话任务处理方法、装置及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120932648B 。

龙图腾网通过国家知识产权局官网在2026-01-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511455152.5，技术领域涉及：G10L15/22；该发明授权一种多模态生成式对话任务处理方法、装置及设备是由张荣珺晨;张维颉;张栋;淦子良;吴海胖设计研发完成，并于2025-10-13向国家知识产权局提交的专利申请。

本一种多模态生成式对话任务处理方法、装置及设备在说明书摘要公布了：本申请公开了一种多模态生成式对话任务处理方法、装置及设备，包括：接收输入的文本内容、视觉内容和流式语音提问内容；当利用目标生成式对话任务处理模型中的全双工检测头检测到流式语音提问内容接收完成时，利用音频编码器对流式语音提问内容进行编码，并利用音频适配器将编码得到的音频特征向量转化为预设统一语义空间的第一词元；利用文本编码器对文本内容进行编码，得到预设统一语义空间的第二词元；利用视觉编码器对视觉内容进行编码，并利用视觉适配器将编码得到的图像特征向量转化为预设统一语义空间的第三词元；根据第一词元、第二词元和第三词元预测生成应答内容。本申请提升了语音判停效果，提高了应答内容的准确性。

本发明授权一种多模态生成式对话任务处理方法、装置及设备在权利要求书中公布了：1.一种多模态生成式对话任务处理方法，其特征在于，包括： 接收输入的文本内容、视觉内容和流式语音提问内容； 当利用目标生成式对话任务处理模型中的全双工检测头检测到所述流式语音提问内容接收完成时，利用所述目标生成式对话任务处理模型中的音频编码器对所述流式语音提问内容进行编码，并利用音频适配器将编码得到的音频特征向量转化为预设统一语义空间的第一词元； 利用所述目标生成式对话任务处理模型中的文本编码器对所述文本内容进行编码，得到所述预设统一语义空间的第二词元； 利用所述目标生成式对话任务处理模型中的视觉编码器对所述视觉内容进行编码，并利用视觉适配器将编码得到的图像特征向量转化为所述预设统一语义空间的第三词元； 利用所述目标生成式对话任务处理模型根据所述第一词元、所述第二词元和所述第三词元预测生成应答内容，以完成本次多模态生成式对话任务处理； 还包括所述目标生成式对话任务处理模型的训练过程，所述目标生成式对话任务处理模型的训练过程包括： 对初始生成式对话任务处理模型进行语音对齐训练，以得到输入语音和输入文本对齐的第一生成式对话任务处理模型； 对所述第一生成式对话任务处理模型进行语音理解微调，得到第二生成式对话任务处理模型； 对所述第二生成式对话任务处理模型进行语音输出微调，得到所述目标生成式对话任务处理模型； 其中，利用所述目标生成式对话任务处理模型根据所述第一词元、所述第二词元和所述第三词元预测生成应答内容，包括： 利用所述目标生成式对话任务处理模型根据所述第一词元、所述第二词元和所述第三词元预测生成语音应答内容和文本应答内容； 对所述第二生成式对话任务处理模型进行语音输出微调，包括： 获取所述第二生成式对话任务处理模型在给定多模态上下文时生成各位置的正确预测结果的交叉熵损失； 获取语音应答内容样本对应的真实梅尔频谱帧； 计算所述语音应答内容样本与所述真实梅尔频谱帧的一阶范数； 获取所述语音应答内容样本的对应语音单元的预测持续时长，并获取所述真实梅尔频谱帧对应语音单元的真实持续时长；其中，所述语音单元为帧或音素； 计算所述预测持续时长和所述真实持续时长的平方欧几里得范数； 根据所述交叉熵损失、所述一阶范数和所述平方欧几里得范数对所述第二生成式对话任务处理模型进行迭代训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州同顺传媒科技有限公司，其通讯地址为：311100 浙江省杭州市余杭区五常街道爱橙街1号阿里巴巴数字生态创新园10幢1层1013室W区-501；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。