买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉平安科技(深圳)有限公司申请的专利基于多模态的语音合成方法、装置、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116778907B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310688242.3，技术领域涉及：G10L13/10；该发明授权基于多模态的语音合成方法、装置、设备及存储介质是由张旭龙;王健宗设计研发完成，并于2023-06-09向国家知识产权局提交的专利申请。

本基于多模态的语音合成方法、装置、设备及存储介质在说明书摘要公布了：本发明涉及人工智能技术领域，公开了一种基于多模态的语音合成方法、装置、设备及存储介质，其方法通过对待合成文本进行预处理，获得字符序列信息、字符级图序列信息和单词级图序列信息作为输入序列信息；对字符序列信息进行编码处理，获得时域编码向量；对字符级图序列信息和单词级图序列信息进行编码处理，获得第一空间域编码向量和第二空间域编码向量；对时域编码向量和第一空间域编码向量进行第一跨模态注意力计算，获得第一解码向量；对第一解码向量和第二空间域编码向量进行第二跨模态注意力计算，获得第二解码向量；根据第二解码向量获得语音谱图，以生成合成语音。本发明保证了合成语音的韵律感和准确度，有效改善了金融服务水平。

本发明授权基于多模态的语音合成方法、装置、设备及存储介质在权利要求书中公布了：1.一种基于多模态的语音合成方法，其特征在于，包括： 对待合成文本进行预处理，获得输入序列信息；所述输入序列信息包括字符序列信息、字符级图序列信息和单词级图序列信息； 对所述字符序列信息进行编码处理，获得时域编码向量；对所述字符级图序列信息进行编码处理，获得第一空间域编码向量；对所述单词级图序列信息进行编码处理，获得第二空间域编码向量； 对所述时域编码向量和所述第一空间域编码向量进行第一跨模态注意力计算，获得第一解码向量； 对所述第一解码向量和所述第二空间域编码向量进行第二跨模态注意力计算，获得第二解码向量； 根据所述第二解码向量获得语音谱图，以生成所述待合成文本的合成语音； 其中，所述对所述时域编码向量和所述第一空间域编码向量进行第一跨模态注意力计算，获得第一解码向量，包括： 获取与所述第一空间域编码向量对应的第一查询空间向量； 获取与所述时域编码向量对应的第一键空间向量和第一值空间向量； 根据所述第一查询空间向量和所述第一键空间向量计算第一注意力权值； 根据所述第一注意力权值对所述第一值空间向量进行加权计算，获得所述第一解码向量； 所述对所述第一解码向量和所述第二空间域编码向量进行第二跨模态注意力计算，获得第二解码向量，包括： 获取与所述第二空间域编码向量对应的第二查询空间向量； 获取与所述第一解码向量对应的第二键空间向量和第二值空间向量； 根据所述第二查询空间向量和所述第二键空间向量计算第二注意力权值； 根据所述第二注意力权值对所述第二值空间向量进行加权计算，获得所述第二解码向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人平安科技(深圳)有限公司，其通讯地址为：518000 广东省深圳市福田区福田街道福安社区益田路5033号平安金融中心23楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。